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1 Samenvatting en conclusies 


1.1 Het evaluatieonderzoek 

Met het nieuwe Toezichtkader bve 2012 beoogt de inspectie de kwaliteitsborging van instellin¬ 
gen verder te verbeteren, de onderwijskwaliteit naar een hoger peil te brengen en de toezicht- 
belasting voor instellingen - daar waar dat kan - te beperken. 

Bij het verschijnen van het toezichtkader is een onafhankelijke evaluatie in het vooruitzicht 
gesteld (Toezichtkader bve 2012, pag. 6). ‘Om na te gaan of het in de praktijk uitwerkt zoals 
beoogd zal in opdracht van de inspectie een onafhankelijke evaluatie plaatsvinden die onder¬ 
zoekt of de met het toezichtkader beoogde doelen en proportionaliteit bereikt worden. Deze 
doelen zijn: 

1. Bewaken dat mbo instellingen en opleidingen voldoen aan de normen voor basiskwaliteit en 
dat zij streven naar betere kwaliteit. Tevens bewaken dat mbo instellingen zich daarbij hou¬ 
den aan de wettelijke voorschriften en dat de beschikbare middelen doelmatig en rechtmatig 
besteed worden. 

2. Door interventies bevorderen dat mbo instellingen en opleidingen die niet aan deze basisei¬ 
sen voldoen hier zo spoedig mogelijk alsnog aan voldoen. 

3. Bevorderen dat instellingen zelf in staat zijn om de basiskwaliteit van al hun opleidingen te 
waarborgen en zich daarbij aan de wettelijke voorschriften te houden. 

4. Jaarlijks een gespecificeerd en nauwkeurig beeld van de staat van het mbo geven. 

5. Het toezicht is zodanig ingericht dat deze doelen zo efficiënt mogelijk en met minder belas¬ 
ting voor de instellingen dan in de jaren 2009 - 2011 bereikt worden .' 

In dit evaluatieonderzoek is nagegaan in hoeverre de doelen van Toezichtkader bve 2012 zijn 
bereikt. In de doelen van het Toezichtkader bve 2012 wordt expliciet een vergelijking gemaakt 
met de situatie in de periode 2009-2011: het doel is om de efficiency in de periode 2012-2014 te 
verhogen in vergelijking met de periode 2009-2011. Het evaluatieonderzoek sluit hierbij aan 
door de ervaren toezichtbelasting over de periode 2009-2011 (beginmeting) en de periode 
2012-2014 (eindmeting) met elkaar te vergelijken. Het evaluatieonderzoek dient voorts ant¬ 
woord te geven op de vraag of het aannemelijk is dat deze doelen bereikt zijn mede door activi¬ 
teiten van de inspectie. 

Voor dit onderzoek is een begeleidingscommissie in het leven geroepen die bestond uit verte¬ 
genwoordigers van de inspectie, MBO Raad, AOC Raad, NRTO en JOB. Zowel de opzet van 
het onderzoek als de rapportages zijn in de begeleidingscommissie besproken. 

Kernbegrippen: kwaliteitsborging, onderwijskwaliteit en toezichtbelasting 

Het onderzoek richt zich op drie kernbegrippen die zijn afgeleid uit de doelen van het Toezicht¬ 
kader bve 2012: kwaliteitsborging, onderwijskwaliteit en toezichtbelasting. 

In het Toezichtkader bve 2012 neemt de beoordeling van de kwaliteitsborging van de mbo- 
instellingen een prominente positie in. Een belangrijke aanname achter het toezichtkader is dat 
instellingen die hun kwaliteitsborging op orde hebben, ook vaker een hoger kwaliteitsniveau 
laten zien. Kwaliteitsborging is in dit evaluatieonderzoek geoperationaliseerd in de vorm van 
een viertal aspecten, die op hun beurt zijn samengesteld uit een aantal indicatoren: 
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plannen; 

informatie; 

monitoring; 

evaluatie; 

verbeteraanpak; 

+ deskundigheidsbevordering; 
verankering; 
externe dialoog. 

De inspectie hanteert bij haar toezicht op instellingsniveau geen maat voor onderwijskwaliteit. 
Om die reden is bij de operationalisering van de onderwijskwaliteit in dit onderzoek aansluiting 
gezocht bij het onderzoek Besturing en onderwijskwaliteit in het mbo (B+O), een door de in¬ 
spectie uitgevoerd themaonderzoek uit 2010. Daarin is, speciaal ten behoeve van dat onder¬ 
zoek, een maat voor onderwijskwaliteit op instellingsniveau ontwikkeld door het combineren van 
indicatoren waarover de inspectie op basis van haar toezichtactiviteiten reeds informatie be¬ 
schikbaar heeft 1 : 

- het percentage zwakke opleidingen; 

- het percentage zeer zwakke opleidingen; 

- het percentage opleidingen met onvoldoende voor examinering; 

- het percentage studenten in opleidingen met voldoende diploma-opbrengsten; 

- het aantal opleidingen waarbij niet werd voldaan aan de norm voor onderwijstijd. 

Om ten behoeve van de eindmeting meer mogelijkheden te creëren om ontwikkelingen in de 
onderwijskwaliteit in kaart te brengen, is een drietal aanvullende indicatoren gehanteerd, te 
weten het deelnemersoordeel (JOB), het percentage vsv en het percentage jaarresultaat 2 . 

In hoofdstuk 3 wordt de toegepaste werkwijze nader uitgewerkt. 

In het onderzoek geldt het oordeel van instellingen over de toezichtbelasting als centrale afhan¬ 
kelijke variabele voor het in kaart brengen van veranderingen in de efficiency van het toezicht. 
Dit oordeel heeft betrekking op de vraag in welke mate de toezichtbelasting als licht of zwaar 
wordt ervaren, en op de vraag of het toezicht in de optiek van de instellingen proportioneel is, 
dat wil zeggen of het in verhouding staat met de onderwijskwaliteit en het niveau van de kwali¬ 
teitsborging. Om het oordeel over de toezichtbelasting in perspectief te plaatsen is nagegaan of 
dit oordeel samenhangt met: 

a. het oordeel van instellingen over de werkwijze van de inspectie en de inhoud van het toe- 
zichtkader; 

b. het oordeel van de instellingen over de toezichtbaten; 

c. de stand van de kwaliteitsborging, inclusief de eigen inzet van de instelling wat betreft de 
kwaliteitsborging; 

d. de onderwijskwaliteit; 

e. de ‘feitelijke’ toezichtbelasting (in termen van de tijdsinvestering die inspectietoezicht voor de 
instellingen met zich mee brengt). 


1 Bijlage 2 bevat meer gedetailleerde gegevens over de indicatoren en de klasse-indelingen en normeringen die in 
het onderzoek B+O zijn gebruikt. 

2 Jaarresultaat is ook onderdeel van de indicator ‘diploma-opbrengsten’ in het B+O onderzoek; daar betreft het echter 
de basiskwaliteit (opbrengsten wel of niet boven de inspectienorm). Met de aanvullende indicator jaarresultaat kan 
recht worden gedaan aan instellingen die boven deze norm uitstijgen. 


6 



Onderzoeksvragen 


In relatie tot de doelen van het Toezichtkader bve 2012 zijn de volgende zeven onderzoeksvra¬ 
gen geformuleerd. 

1. Is de kwaliteitsborging in instellingen in 2014 op een hoger niveau dan in 2009? 

2. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de kwaliteitsborging in instellingen? 

3. Is de onderwijskwaliteit in instellingen in 2014 op een hoger niveau dan in de periode 2009- 
2011? 

4. Is er is een positieve samenhang tussen kwaliteitsborging en onderwijskwaliteit? 

5. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de onderwijskwaliteit in instellingen? 

6. Is de toezichtbelasting voor de mbo-instellingen is in 2012-2014 lager dan in de periode 
2009-2011? 

7. Is er een verband tussen (een relatief hoge stand van) de kwaliteitsborging en (een relatief 
lage) toezichtbelasting in de instellingen? 


Onderzoeksaanpak 

Om na te gaan of de doelen van het Toezichtkader bve 2012 zijn gerealiseerd wordt in dit eva¬ 
luatieonderzoek de stand van zaken in de periode 2009-2011 (vóór het Toezichtkader bve 

2012) vergeleken met de periode 2012-2014 (de werkingsperiode van het Toezichtkader bve 

2012 ). 

Daartoe zijn drie metingen uitgevoerd: 

- een beginmeting (over de periode 2009-2011 ) 3 ; 

- een tussenmeting (over het jaar 2012) 4 ; 

- een eindmeting (over de jaren 2013 en 2014). 

De drie metingen zijn uitgevoerd in 20 bekostigde en in 4 niet-bekostigde instellingen. 

Voor het beantwoorden van de onderzoeksvragen zijn in hoofdlijnen drie onderzoeksactiviteiten 

uitgevoerd: 

a. het voeren van gesprekken in instellingen. In deze gesprekken staan centraal: percepties 
van de stand en de ontwikkeling van de kwaliteitsborging en de onderwijskwaliteit, percep¬ 
ties van de bijdrage van de inspectie aan de ontwikkeling van de kwaliteitsborging, en de er¬ 
varen toezichtbelasting. 

b. het raadplegen van bronnen, zowel van de inspectie (bewerken van data over kwaliteitsbor¬ 
ging, onderwijskwaliteit, aantal inspectiebezoeken etc.) als van de instellingen (jaarverslagen 
en documenten die specifiek betrekking hebben op kwaliteitsborging). 

c. het analyseren van bevindingen uit de interviews en de databestanden. 


3 P. den Boer en J. Frietman (2012). Evaluatie doelbereiking Toezichtkader bve 2012: beginmeting. Nijmegen: KBA. 

4 P. den Boer en J. Frietman (2013). Evaluatie doelbereiking Toezichtkader bve 2012: tussenmeting. Nijmegen: KBA. 
De rapportages van de begin- en tussenmeting zijn te downloaden op de site van de inspectie 
www.onderwijsinspectie.nl 
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1.2 Beantwoording onderzoeksvragen 


In deze paragraaf worden de onderzoeksvragen beantwoord. In de paragrafen 1.2.1 tot en met 
1.2.4 gebeurt dat voor de bekostigde mbo-instellingen en in paragraaf 1.2.5 voor de niet- 
bekostigde instellingen. 

1.2.1 Ontwikkeling van de kwaliteitsborging 

Onderzoeksvraag 1: Is de kwaliteitsborging in instellingen in 2014 op een hoger niveau dan in 
2009? 

De gevoerde gesprekken in de mbo-instellingen en de analyses van de documenten wijzen 
eenduidig uit dat de kwaliteitsborging in de onderzochte instellingen in 2014 op een hoger ni¬ 
veau staat dan in 2009. Bij alle onderzochte instellingen is bij meerdere indicatoren van kwali¬ 
teitsborging sprake van verbeteringen. De mate waarin verbeteringen zijn opgetreden verschilt 
per instelling, waarbij sprake is van een inhaalslag bij de meeste instellingen die in 2009 een 
relatief lage stand van kwaliteitsborging hadden. 

De verbeteringen in de kwaliteitsborging zijn deels al doorgevoerd voordat het Toezichtkader 
bve 2012 in werking trad. Instellingen hebben in sterke mate geanticipeerd op de komst van dit 
toezichtkader, waarbij in de periode 2009-2011 met name op het gebied van planning en moni- 
toring grote stappen zijn gezet. In de periode 2012-2014 is sprake van dóórontwikkeling van de 
kwaliteitsborging, het meest op het gebied van evaluatie en in toenemende mate ook deskun¬ 
digheidsbevordering en verankering. 

Door de inhaalslag van de (op het gebied van kwaliteitsborging) aanvankelijk 'zwakkere’ instel¬ 
lingen zijn de verschillen tussen de instellingen nu minder groot dan in 2009. In veel instellingen 
wordt aangegeven dat het kwaliteitsborgingssyteem - afgezien van finetuning en onderhoud - 
nu 'staat’ en dat de nadruk ligt op het verder indalen in de organisatie en op het stimuleren van 
kwaliteitsbewustzijn en een kwaliteitscultuur. 

Bevindingen van de evaluatie Toezichtkader bve 2012 in relatie tot het onderwijsverslag 
2011/2012 en 2012/2013 

Op basis van de gevoerde gesprekken in de mbo-instellingen en de geanalyseerde documen¬ 
ten kan gesteld worden dat de kwaliteitsborging in de onderzochte instellingen zich vanaf 2009 
sterk heeft ontwikkeld. Hoewel er zeker nog verbeterpunten zijn, is het duidelijk dat op het 
gebied van kwaliteitsborging in relatief korte tijd grote sprongen zijn gemaakt. 

Deze uitkomst van de onderhavige evaluatie lijkt op het eerste gezicht op gespannen voet te 
staan met de conclusies van de inspectie, zoals gerapporteerd in het onderwijsverslag ('De 
staat van het onderwijs’) 2011/2012 en in mindere mate 2012/2013. De inspectie constateert in 
2011/2012 dat bij bijna 70 procent van de instellingen de kwaliteitsborging niet op orde is. Hoe¬ 
wel in 2012/2013 op onderdelen verbeteringen worden gemeld, beoordeelde de inspectie ook in 
dat jaar bij twee derde van de instellingen de kwaliteitsborging als onvoldoende. De constate¬ 
ring van de inspectie en de bevindingen uit dit onderzoek bijten elkaar echter niet, om de vol¬ 
gende redenen: 

In de onderhavige evaluatie van het Toezichtkader bve zijn de ontwikkelingen in de kwali¬ 
teitsborging in kaart wordt gebracht, waarbij een selectie van indicatoren uit het waarde- 
ringskader als basis wordt gebruikt. Er is dus in grote lijnen gekeken naar dezelfde aspecten 
van kwaliteitsborging als in het inspectietoezicht. Echter, in de onderhavige evaluatie is niet 
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gemeten in hoeverre instellingen aan de inspectie-eisen voldoen. Er kan overigens sprake 
zijn van verbetering, ook als die situatie (nog) niet voldoet aan de inspectie-eisen. 

Inhoudelijk sluiten de bevindingen uit deze evaluatie en uit het onderwijsverslag op elkaar 
aan. Zowel de verbeteringen in kwaliteitsborging die de inspectie signaleert als de pijnpunten 
(met name de (uitwerking van kwaliteitsborging in de praktijk op teamniveau) komen in 
hoofdlijnen overeen met de bevindingen in de onderhavige evaluatie van het Toezichtkader 
bve 2012. 

Onderzoeksvraag 2: Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 
2012 bijgedragen aan verbetering van de kwaliteitsborging in instellingen? 

Zowel het waarderingskader als het daarop gebaseerde toezicht door de inspectie hebben 
bijgedragen aan de verhoging van het niveau van kwaliteitsborging in de onderzochte instellin¬ 
gen. Ook de meeste instellingen die kritisch zijn over dit waarderingskader en (vaker) over het 
inspectietoezicht erkennen deze positieve bijdrage. 

Het waarderingskader is in de instellingen verwerkt in de kwaliteitszorgsystematiek, omdat het 
inspectietoezicht hierop is gebaseerd maar ook omdat het als een geschikte kapstok voor het 
eigen kwaliteitszorgsysteem wordt beschouwd. 

De ervaren toegevoegde waarde van het inspectietoezicht ligt enerzijds in het gegeven dat 
externe druk c.q. een stok achter de deur helpt om veranderingen door te voeren. Anderzijds 
heeft het inspectietoezicht ook een rol gespeeld bij het concreet doorvoeren van verbeteringen 
in de kwaliteitsborging en heeft met name de Staat van de Instelling in een aantal instellingen 
het gesprek over kwaliteit en daarmee het kwaliteitsbewustzijn een impuls gegeven. 


1.2.2 Ontwikkeling van de onderwijskwaliteit 

Onderzoeksvraag 3: Is de onderwijskwaliteit in instellingen in 2014 op een hoger niveau dan in 
de periode 2009-2011 ? 

In het onderzoek is onderscheid gemaakt tussen basisindicatoren voor onderwijskwaliteit - die 
refereren aan het voldoen aan eisen op het gebied van onderwijsprocessen, opbrengsten, 
examinering en wettelijke vereisten - en aanvullende indicatoren: JOB, vsv en jaarresultaat. 

Als wordt gekeken naar de ontwikkelingen in de basisindicatoren voor onderwijskwaliteit, kan 
worden gesteld dat er geen tekenen zijn dat de basiskwaliteit in de onderzochte instellingen 
tussen 2009 en 2012-2013 is toegenomen. Daarbij past de kanttekening dat 1) mogelijk sprake 
is van een na-ijleffect en 2) uit methodologische overwegingen voorzichtigheid geboden is bij 
het vergelijken van de situatie in 2009 en 2012-2013. 

Als we kijken naar de drie aanvullende indicatoren, dan is onmiskenbaar sprake van een stij¬ 
ging. Dit geldt voor alle instellingen, zij het niet in dezelfde mate. 

Als de basisindicatoren en de aanvullende indicatoren worden gecombineerd tot één maat voor 
(totale) onderwijskwaliteit, blijkt dat in ongeveer tweederde van de instellingen sprake is van 
een toename van de onderwijskwaliteit; bij 15% is sprake van een afname, bij de overige instel¬ 
lingen is de onderwijskwaliteit gelijk gebleven. 

Met enige voorzichtigheid kan geconcludeerd worden dat de onderwijskwaliteit in de onderzoch¬ 
te instellingen is gestegen, zij het niet bij alle instellingen. De stijging is duidelijk als onderwijs¬ 
kwaliteit wordt geïnterpreteerd in termen van rendement en (studenten)tevredenheid, maar kan 
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niet worden aangetoond in termen van (het voldoen aan eisen op het gebied van) onderwijspro¬ 
cessen, examinering en wettelijke vereisten. 


1.2.3 De relatie tussen kwaliteitsborging en onderwijskwaliteit 

Onderzoeksvraag 4: Is er is een positieve samenhang tussen kwaliteitsborging en 
onderwijskwaliteit? 

Zowel uit de data-analyses als uit de gevoerde gesprekken in de mbo-instellingen komt naar 
voren dat er een positieve relatie is tussen kwaliteitsborging en onderwijskwaliteit. Daarvoor 
worden verschillende argumenten aangedragen: kwaliteitsborging stimuleert dat organisaties 
zicht hebben op de kwaliteit, zodat deze kan worden bewaakt en bestendigd en zodat zwakke 
plekken kunnen worden aangepakt. Daarnaast brengen de activiteiten die in het kader van 
kwaliteitsborging worden uitgevoerd (bepalen van doelen, stellen van prioriteiten, afleggen van 
verantwoording etc.) met zich mee dat binnen en tussen de diverse geledingen van de organi¬ 
satie het gesprek over kwaliteit op gang komt en blijft. Dit bevordert het kwaliteitsbewustzijn, in 
de optiek van de instellingen een belangrijke factor bij het werken aan kwaliteit. 

Het onderzoek laat tegelijkertijd zien dat geen sprake is van een één-op-één relatie tussen 
kwaliteitsborging en onderwijskwaliteit. Uit de analyses komt geen perfect verband naar voren: 
niet alle instellingen met een hoge stand van kwaliteitsborging scoren ook hoog op onderwijs¬ 
kwaliteit, en andersom. En evenmin zijn alle gesprekspartners in de mbo-instellingen overtuigd 
van deze relatie. In elk geval is het geen vanzelfsprekende relatie. Er moet voor worden ge¬ 
zorgd dat de kwaliteitsborgingssysteem geen papieren tijger is die vooral leidt tot bureaucratie. 
Instellingen kijken in dit verband met een kritisch oog naar zichzelf - kwaliteitsborging zou ster¬ 
ker verbonden kunnen worden met de eigen visie, doelen, processen en kwaliteitscultuur - en 
naar de inspectie: in de optiek van instellingen legt de inspectie te veel nadruk op bewijsvoering 
aan de hand van documenten. 

Bij de twijfels die een aantal instellingen hebben bij de relatie tussen kwaliteitsborging en on¬ 
derwijskwaliteit speelt mee dat het begrip onderwijskwaliteit multi-interpretabel is. Het wordt 
geïnterpreteerd in termen van het primaire proces (de interactie tussen docent en student), 
rendement (vsv, jaarresultaat), tevredenheid van stakeholders (studenten, bedrijven, personeel) 
en/of onderwijsprocessen (inclusief examinering). Dat laatste vormt een belangrijk element in 
het inspectietoezicht, maar is in de onderzochte instellingen doorgaans juist niet de eerste 
referentie bij het begrip 'onderwijskwaliteit’. 

Bij de relatie tussen kwaliteitsborging en onderwijskwaliteit speelt de tijdsdimensie een rol; de 
kwaliteitsborging kan vooruit lopen op de verbetering van de onderwijskwaliteit. In het onder¬ 
zoek betekent dit concreet dat de relatie tussen kwaliteitsborging en onderwijskwaliteit - in 
termen van onderwijsprocessen en examinering - waarschijnlijk explicieter naar voren komt als 
de maatregelen die instellingen hebben getroffen naar aanleiding van de Staat van de Instelling 
zichtbaar worden in de resultaten van de vervolgonderzoeken. Meer in algemene zin kan ge¬ 
steld worden dat het cyclische karakter van kwaliteitsborging een zekere ‘doorlooptijd’ met zich 
mee brengt. Zichtbare effecten op de onderwijskwaliteit kunnen daarom met een vertraging tot 
stand komen (na-ijieffect). 
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Onderzoeksvraag 5: Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 
2012 bijgedragen aan verbetering van de onderwijskwaliteit in instellingen? 

Deze vraag kan voorzichtig positief worden beantwoord. De maatregelen die instellingen treffen 
naar aanleiding van de Staat van de Instelling leiden tot een verbetering van de kwaliteit van 
onderwijsprocessen en examinering. De impact van deze maatregelen reikt vaak verder dan de 
opleidingen waarop de door de inspectie geconstateerde tekortkomingen betrekking hebben; 
veel instellingen hebben de gelegenheid aangegrepen om veranderingen in procedures en 
werkwijzen instellingsbreed door te voeren. In dit opzicht heeft het inspectietoezicht bijgedragen 
aan de verhoging van de onderwijskwaliteit in de instellingen. 

Instellingen kijken veelal naar onderwijskwaliteit in termen van rendement of in termen van het 
primaire proces (interactie tussen docent en student, kwaliteit van de docent). Hierop is een 
veelheid van factoren van invloed; het inspectietoezicht is daar één van. De bijdrage van het 
inspectietoezicht aan de onderwijskwaliteit in termen van rendement of de kwaliteit van de 
docent is van indirecte aard en moeilijk te isoleren van andere factoren en daarom voor de 
instellingen moeilijker zichtbaar. Deze bijdrage wordt de instellingen daarom in het algemeen 
als minder groot en minder direct ervaren dan de bij onderzoeksvraag 2 beschreven bijdrage 
aan de kwaliteitsborging. 


1.2.4 Ervaren toezichtbelasting 

Onderzoeksvraag 6: is de toezichtbelasting voorde mbo-insteilingen is in 2012-2014 lager dan 
in de periode 2009-2011 ? 

Op grond van analyse van data over de inspectiebezoeken en op grond van de bevindingen in 
de mbo-instellingen kan geconcludeerd worden dat de toezichtbelasting voor instellingen in 
2012-2014 lager is dan in 2009-2011. 

Wat betreft de toezichtbelasting in termen van de tijdsinvestering die met de inspectie- 
onderzoeken gepaard gaat, houden de meeste instellingen nog een slag om de arm, aangezien 
de vervolgonderzoeken van de Staat van de Instelling ten tijde van het onderzoek veelal nog 
niet hadden plaatsgevonden. De overige instellingen ervaren vaker een afname dan een toe¬ 
name van de tijdsbelasting. Deze gegevens worden ondersteund door analyses op de inspec- 
tiedata (aantal inspectiebezoeken) die wijzen op een duidelijke afname van de tijdsbelasting. 

De meeste instellingen hebben een voorkeur voor de Staat van de Instelling boven de losse en 
in de tijd gespreide onderzoeken die voorheen plaatsvonden. Bepalend voor de voorkeur voor 
de SVI en voor de ervaren toezichtbelasting is niet in de eerste plaats de tijdsbelasting, maar 
veeleer de rust die wordt gecreëerd doordat de inspectie (afgezien van evt. vervolgonder¬ 
zoeken) in principe een keer per drie jaar de instelling bezoekt. Daarnaast wordt de integratie 
van onderwijs, examinering en kwaliteitsborging als een voordeel gezien; dit levert de instelling 
een compleet en samenhangend beeld op. 

Een derde element dat de ervaren toezichtbelasting in instellingen bepaalt, is het oordeel over 
de werkwijze van de inspectie. In de beginmeting van het onderzoek (over de periode 2009- 
2011) bepaalde dit aspect in hoge mate de ervaren toezichtbelasting, vaak in negatieve zin. De 
ervaringen met de Staat van de Instelling zijn positiever, met name wat betreft de houding van 
de inspectie: uit het onderzoek spreekt nu veel minder dan voorheen een basishouding van 
wantrouwen, gericht op het speuren naar fouten. Bijna alle instellingen zijn positief over het 
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verloop van de SVI, waarbij de plezierig verlopen gesprekken en contacten het meest als plus¬ 
punt worden genoemd. 

Daar tegenover staat dat veel instellingen kritiek hebben op de beoordeling bij de SVI. Het 
meest genoemde bezwaar is dat de inspectie te zeer gericht is op bewijsvoering aan de hand 
van documenten, wat de kwaliteitsborging in de optiek van instellingen onnodig bureaucratisch 
maakt. Ook over de beoordelingssystematiek zijn de instellingen kritisch: die is volgens hen 
zodanig dat kleine fouten grote gevolgen hebben, en de normering bij de beoordeling achten 
veel instelling onvoldoende duidelijk (wanneer is een situatie ‘voldoende?’). 

Onderzoeksvraag 7: Is er een verband tussen (een relatief hoge stand van) de kwaliteitsborging 
en (een relatief lage) toezichtbelasting in de instellingen? 

In de systematiek van het inspectietoezicht ligt een vorm van proportionaliteit besloten: al naar 
gelang van het oordeel van de inspectie over de kwaliteitsborging en onderwijskwaliteit vinden 
al dan niet vervolgonderzoeken op de SVI plaats. 

Omdat alle instellingen - ongeacht de stand van de kwaliteitsborging - aangeven dat de Staat 
van de Instelling een omvangrijk en intensief onderzoek is geweest, is het moeilijk om vast te 
stellen of er een verband is tussen de stand van de kwaliteitsborging en de ervaren toezichtbe¬ 
lasting. Indicaties hiervoor zijn er wel. Bij instellingen die aangeven dat de toezichtbelasting is 
afgenomen is de kwaliteitsborging bij de SVI vaker als voldoende beoordeeld dan bij de overige 
instellingen. Ook lijkt met name de voorbereiding op de SVI intensiever naarmate de kwaliteits¬ 
borging in 'administratieve’ zin (o.a. toegankelijkheid van documenten) niet goed op orde is 


1.2.5 De niet-bekostigde instellingen 

De bevindingen bij de NBI’s, geordend naar de drie centrale onderzoeksthema's luiden als 
volgt. 

Kwaliteitsborging 

In de periode 2009-2011 is, net als in de bekostigde instellingen, geanticipeerd op de komst van 
het Toezichtkader bve 2012, door het op- en uitbouwen van een PDCA-cyclus. Dit proces heeft 
zich in de jaren daarna voortgezet. 

Als wordt gekeken naar de ontwikkelingen in de periode 2009-2014 per indicator van kwaliteits¬ 
borging, dan blijken in alle instellingen verbeteringen te zijn doorgevoerd op het gebied van 
evaluatie (audits en zelfevaluaties). 

De 4 NBI’s zijn het er over eens dat het waarderingskader belangrijk is geweest bij het vormge¬ 
ven van de kwaliteitsborging in de instelling. Het werkt structurerend. Het waarderingskader is 
behalve als algemene kapstok voor het kwaliteitszorgsysteem ook meer specifiek toegepast in 
instrumenten, in het bijzonder voor zelfevaluatie. 

De NBI’s geven aan dat ook het inspectietoezicht heeft bijgedragen aan de ontwikkeling van de 
kwaliteitsborging. In algemene zin wordt daarbij gesteld dat het toezicht de instelling scherp 
houdt. In meer concrete zin wordt verwezen naar verbeteringen die naar aanleiding van het 
toezicht zijn doorgevoerd, zoals op het gebied van examinering). 
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Onderwijskwaliteit 


Op basis van dit onderzoek kan de ontwikkeling van de onderwijskwaliteit bij de NBI’s niet in 
kaart worden gebracht. 

De NBI's zien een positieve relatie tussen kwaliteitsborging en onderwijskwaliteit. De meer¬ 
waarde van kwaliteitsborging is dat de instellingen in beeld krijgen waar het goed en minder 
goed gaat met de kwaliteit. 

Twee van de vier niet bekostigde instellingen vinden dat het inspectietoezicht heeft bijgedragen 
aan de verbetering van de onderwijskwaliteit. De Staat van de Instelling 'zet de boel op scherp’ 
en brengt met zich mee dat iedereen het over kwaliteit heeft. Het kwaliteitsbewustzijn is toege¬ 
nomen en dat leidt tot verbeteringen. 

De beide andere NBI’s geven aan dat het inspectietoezicht de onderwijskwaliteit niet direct 
heeft beïnvloed. In déze instellingen wordt wel een invloed van het toezicht ervaren op de kwali¬ 
teitsborging en op procedures (bijvoorbeeld t.a.v. examinering. 

Toezichtbelasting 

De overheersende indruk is dat de toezichtbelasting in de periode 2012-2014 in termen van tijd 
zeker niet lager en wellicht hoger zal uitpakken dan in 2009-2011. Dat heeft te maken met het 
gegeven dat het inspectietoezicht vóór 2012 met name betrekking had op examinering en niet 
of nauwelijks op onderwijsprocessen. Bij de Staat van de Instelling daarentegen wordt integraal 
wordt gekeken naar de kwaliteitsborging, onderwijsprocessen en examinering. 

Hoewel de Staat van de Instelling wordt beschouwd als erg intensief en gedetailleerd, zijn er 
weinig klachten over de toezichtbelasting. Daarbij heeft de Staat van de Instelling de voorkeur 
boven losse onderzoeken naar met name examinering zoals die vóór 2012 plaatsvonden. 


1.3 Conclusie 

In dit evaluatieonderzoek zijn uit de doelstellingen van het Toezichtkader bve 2012 drie centrale 
thema’s afgeleid, die de kapstok vormen voor de vraag in hoeverre de doelen van het toezicht¬ 
kader zijn bereikt: 

1. de ontwikkeling van de kwaliteitsborging en de bijdrage daaraan van het inspectietoezicht; 

2. de ontwikkeling van de onderwijskwaliteit en de bijdrage daaraan van het inspectietoezicht; 

3. de ontwikkeling van de toezichtbelasting voor de instellingen. 

Ad 1 Kwaliteitsborging 

De doelen met betrekking tot de kwaliteitsborging zijn bereikt. Op basis van de gevoerde ge¬ 
sprekken en de bestudeerde documenten kan in het algemeen worden gesteld dat de kwali¬ 
teitsborging in de instellingen zich in korte tijd met grote sprongen heeft ontwikkeld. De instellin¬ 
gen hebben in dit opzicht een grote prestatie geleverd. De bijdrage van het waarderingskader 
en het daarop gebaseerd inspectietoezicht is substantieel. 

Ad 2 Onderwijskwaliteit 

Met enige voorzichtigheid kan geconcludeerd worden dat de onderwijskwaliteit in de onderzoch¬ 
te instellingen is gestegen, zij het niet bij alle instellingen. De stijging is zichtbaar het duidelijkst 
als onderwijskwaliteit wordt geïnterpreteerd in termen van rendement en (studen- 
tenjtevredenheid, maar er zijn geen tekenen dat de basiskwaliteit in termen van (het voldoen 
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aan eisen op het gebied van) onderwijsprocessen, examinering en wettelijke vereisten is geste¬ 
gen. Mogelijk is wat betreft de basiskwaliteit sprake van een na-ijleffect (de ontwikkeling van de 
kwaliteitsborging loopt vooruit op de verbetering van de onderwijskwaliteit) maar dat kan in dit 
onderzoek niet worden aangetoond. 

Ad 3 Toezichtbelasting 

De toezichtbelasting voor instellingen in 2012-2014 is lager dan in 2009-2011. Het is niet op de 
eerste plaats de toezichtbelasting in termen van tijd die hiervoor bepalend is, maar veeleer het 
gegeven dat de Staat van de Instelling driejaarlijks plaatsvindt en dat daarbij onderwijsproces¬ 
sen, examinering en kwaliteitsborging worden geïntegreerd. Daarnaast zijn instellingen positie¬ 
ver over de werkwijze van de inspectie, wat ook bijdraagt aan de verminderde toezichtbelasting. 


1.4 Beschouwing 

Naar aanleiding van de onderzoeksbevindingen gaan de onderzoekers in deze beschouwing 
kort in op twee thema’s die relevant zijn in verband met de verdere ontwikkeling van de kwali¬ 
teitsborging en de bijdrage hieraan van het inspectietoezicht. 

Systeem en cultuur 

In de onderzochte instellingen is er nu een systeem voor kwaliteitsborging, inclusief instrumen¬ 
ten t.b.v. planning, terugkoppeling, monitoring en evaluatie, al wordt daarbij aangegeven dat de 
werking in de praktijk, met name op teamniveau, nog voor verbetering vatbaar is. Instellingen 
zijn steeds meer in control, in die zin dat zij weten waar de (goede en) zwakke plekken zijn. Dat 
is een belangrijke voorwaarde voor het duurzaam verbeteren van onderwijskwaliteit, maar men 
realiseert zich dat dit niet voldoende is. Kwaliteitsbewustzijn moet tussen de oren zitten, het 
streven is dat het permanent verbeteren van kwaliteit een vanzelfsprekende houding is. Dat is 
niet alleen of op de eerste plaats een kwestie van systeem en instrumenten, maar zeker ook 
van cultuur. Nu het systeem 'staat 1 is dan ook een accentverschuiving te zien in de richting van 
het stimuleren van een kwaliteitscultuur in alle lagen van de organisatie. Er wordt gezocht naar 
een balans tussen ‘hard Controls’ en 'soft Controls’. Professionalisering speelt daarbij een be¬ 
langrijke rol, waarbij steeds nadrukkelijker de rol van de teamleiders en van de teams in de 
schijnwerpers staat. 

Op dit punt aanbeland, is de uitgangssituatie voor het versterken van kwaliteitsbewustzijn en de 
professionaliteit op teamniveau gunstig. Instellingen streven naar resultaatverantwoordelijke 
teams, die binnen centraal opgestelde kaders zorg dragen voor het bewaken en verbeteren van 
de onderwijskwaliteit. Een vanzelfsprekende gerichtheid op kwaliteit en kwaliteitszorg in de 
teams is daarmee niet alleen nodig in verband met de externe verantwoording, maar dient ook 
duidelijk het belang van de instelling. 

Kwaliteitsborging en onderwijskwaliteit 

Een belangrijke aanleiding om kwaliteitsborging centraal te stellen in het toezicht, is de aanna¬ 
me dat er een relatie is tussen kwaliteitsborging en onderwijskwaliteit. Dit impliceert dat de 
kwaliteitsborging geen doel op zichzelf is, maar een randvoorwaarde en een middel om de 
onderwijskwaliteit te verbeteren. Dat is ook wat zowel de instellingen als de inspectie willen: een 
kwaliteitsborgingssysteem dat geen papieren tijger is, maar waarmee de onderwijskwaliteit 
wordt gestimuleerd. 
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Instellingen zoeken op verschillende manieren naar wegen om de verbinding tussen kwaliteits¬ 
borging en de onderwijskwaliteit te versterken, bijvoorbeeld door het kwaliteitsborgingssysteem 
sterker te verbinden met de eigen visie, beleid en processen, door de kwaliteitsborging dichter 
naar het primaire proces te brengen (docentevaluaties, lesbezoeken, ‘soft Controls’) en door te 
werken aan de vertaalslag van informatie naar verbetering en het 'rond maken’ van de cyclus 
op teamniveau. Op deze punten zijn ontwikkelingen zichtbaar, maar er is voor de instellingen 
zeker nog winst te boeken op weg naar een grotere effectiviteit van de kwaliteitsborging. 

Ook de inspectie heeft oog voor de relatie tussen de kwaliteitsborging en de onderwijskwaliteit: 
zij kijkt terecht - ook in de ogen van de mbo-instellingen - of de kwaliteitsborging ook in de 
praktijk functioneert en effect sorteert. Niettemin ligt volgens een deel van de instellingen in het 
inspectietoezicht nog te veel focus op het vastleggen, aantoonbaar maken en bewijzen aan de 
hand van documenten. 

We bevelen aan dat de inspectie reflecteert op en afstemt over de wijze waarop instellingen 
moeten aantonen dat ze in control zijn en systematisch werken aan het verbeteren van de 
onderwijskwaliteit. Het is in elk geval van belang dat hierover duidelijkheid wordt verschaft aan 
de instellingen, ook om te voorkomen dat instellingen als 'reflex’ op (vermeende) eisen van de 
inspectie onnodig 'gaan vastleggen om het vastleggen’. 
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2 Vraagstelling van het onderzoek 


In dit evaluatieonderzoek is nagegaan in hoeverre de doelen van Toezichtkader bve 2012 zijn 
bereikt. In paragraaf 2.1 worden deze doelen beschreven. Vervolgens worden drie uit deze 
doelen afgeleide kernbegrippen geoperationaliseerd: kwaliteitsborging, onderwijskwaliteit en 
toezichtbelasting (paragraaf 2.2) en worden de onderzoeksvragen geformuleerd (paragraaf 
2.3). 

Voor het lezen van dit hoofdstuk is het nuttig om een globaal beeld te hebben van de opzet van 
het onderzoek. Onderstaand kader biedt deze kerninformatie in een notendop. De onderzoeks¬ 
aanpak wordt uitgebreid beschreven in hoofdstuk 3. 


Het evaluatieonderzoek in een notendop 

Om na te gaan of de doelen van het Toezichtkader bve 2012 zijn gerealiseerd, is in dit evalu¬ 
atieonderzoek de stand van zaken in de periode 2009-2011 (vóór het Toezichtkader bve 

2012) vergeleken met de periode 2012-2014 (de werkingsperiode van het Toezichtkader bve 

2012). Daartoe zijn drie metingen uitgevoerd: 

- een beginmeting (over de periode 2009-2011); 

- een tussenmeting (over het jaar 2012); 

- een eindmeting (over de jaren 2013 en 2014). 

De drie metingen zijn uitgevoerd bij 20 bekostigde en bij 4 niet-bekostigde instellingen. 

Voor het beantwoorden van de onderzoeksvragen zijn in hoofdlijnen drie onderzoeksactivitei¬ 
ten uitgevoerd: 

a. het voeren van gesprekken in instellingen. In deze gesprekken staan centraal: percepties 
van de stand en de ontwikkeling van de kwaliteitsborging en de onderwijskwaliteit, percep¬ 
ties van de bijdrage van de inspectie aan de ontwikkeling van de kwaliteitsborging, en de 
ervaren toezichtbelasting. 

b. het raadplegen van bronnen, zowel van de inspectie (bewerken van data over kwaliteits¬ 
borging, onderwijskwaliteit, aantal inspectiebezoeken etc.) als van de instellingen (jaarver¬ 
slagen en documenten die specifiek betrekking hebben op kwaliteitsborging). 

c. het analyseren van bevindingen uit de interviews en de databestanden. 


2.1 Doelen van het Toezichtkader bve 2012 

Met het nieuwe Toezichtkader bve 2012 beoogt de inspectie de kwaliteitsborging van instellin¬ 
gen verder te verbeteren, de onderwijskwaliteit naar een hoger peil te brengen en de toezicht¬ 
belasting voor instellingen - daar waar dat kan - te beperken. 

Bij het verschijnen van het toezichtkader is een onafhankelijke evaluatie in het vooruitzicht 
gesteld (Toezichtkader bve 2012, pag. 6). ‘Om na te gaan of het in de praktijk uitwerkt zoals 
beoogd zal in opdracht van de inspectie een onafhankelijke evaluatie plaatsvinden die onder- 
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zoekt of de met het toezichtkader beoogde doelen en proportionaliteit bereikt worden. Deze 

doelen zijn: 

1. Bewaken dat mbo instellingen en opleidingen voldoen aan de normen voor basiskwaliteit en 
dat zij streven naar betere kwaliteit. Tevens bewaken dat mbo instellingen zich daarbij hou¬ 
den aan de wettelijke voorschriften en dat de beschikbare middelen doelmatig en rechtmatig 
besteed worden. 

2. Door interventies bevorderen dat mbo instellingen en opleidingen die niet aan deze basisei¬ 
sen voldoen hier zo spoedig mogelijk alsnog aan voldoen. 

3. Bevorderen dat instellingen zelf in staat zijn om de basiskwaliteit van al hun opleidingen te 
waarborgen en zich daarbij aan de wettelijke voorschriften te houden. 

4. Jaarlijks een gespecificeerd en nauwkeurig beeld van de staat van het mbo geven. 

5. Het toezicht is zodanig ingericht dat deze doelen zo efficiënt mogelijk en met minder belas¬ 
ting voor de instellingen dan in de jaren 2009 -2011 bereikt worden. ’ 

Het evaluatieonderzoek dient voorts antwoord te geven op de vraag of het aannemelijk is dat 

deze doelen bereikt zijn mede door activiteiten van de inspectie. 


2.2 Operationalisering van de centrale begrippen 

Het onderzoek richt zich op drie kernbegrippen die zijn afgeleid uit de doelen van het Toezicht¬ 
kader bve 2012: kwaliteitsborging, onderwijskwaliteit en toezichtbelasting. Op deze thema’s, en 
hun onderlinge samenhang, hebben de onderzoeksvragen betrekking die in paragraaf 2.3 
worden geformuleerd. Voor een goed begrip van deze onderzoeksvragen worden de drie cen¬ 
trale begrippen hieronder nader uitgewerkt. 


2.2.1 Kwaliteitsborging 

In het Toezichtkader bve 2012 neemt de beoordeling van de kwaliteitsborging van de mbo- 
instellingen een prominente positie in. Een belangrijke aanname achter het toezichtkader is dat 
instellingen die hun kwaliteitsborging op orde hebben, ook vaker een hoger kwaliteitsniveau 
laten zien. Het in 2010 uitgevoerde thema-onderzoek Besturing en onderwijskwaliteit in het 
mbo’ (kortweg: B+O) 5 toonde dit verband aan. 

Voor de evaluatie van het Toezichtkader bve 2012 is het van belang om de kwaliteitsborging op 
instellingsniveau in beeld te krijgen voor de periode 2009-2011 (beginmeting) en de periode 
2012-2014 (tussen- en eindmeting). Voor de beginmeting was het genoemde thema-onderzoek 
B+O de aangewezen informatiebron, aangezien dit onderzoek uitgebreide informatie bevat over 
de stand van de kwaliteitsborging op instellingsniveau 6 . Om zicht te krijgen op de kwaliteitsbor¬ 
ging op instellingsniveau is daarom, met als vertrekpunt het Toezichtkader bve 2012, gebruik 
gemaakt van gegevens uit dit thema-onderzoek. Hiervoor is de volgende procedure gevolgd: 


5 Inspectie voor het onderwijs (2010). Besturing en onden/vijskwaliteit in het mbo. Utrecht: Inspectie van het onder¬ 
wijs. 

6 Andere inspectie-onderzoeken vóór 2012 (stelselonderzoek, onderzoek in het kader van tweede orde toezicht, 
handhavingsonderzoek) leenden zich hier niet voor, omdat deze met name informatie bevatten op opleidingsniveau . 
Vanaf 2012 is de kwaliteitsborging op instellingsniveau een vast aandachtspunt bij de driejaarlijkse Staat van de In¬ 
stelling (SVI). 
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In gebied 4 van het waarderingskader dat deel uitmaakt van het Toezichtkader bve 2012 is 
kwaliteitsborging geoperationaliseerd in de vorm van een viertal aspecten, die op hun beurt zijn 
samengesteld uit een aantal indicatoren. In dit evaluatieonderzoek is hierbij aangesloten, met 
dien verstande dat uit gebied 4 die (elementen van) indicatoren zijn geselecteerd die het sterkst 
samenhangen met de onderwijskwaliteit. Informatie over deze samenhang is ontleend aan het 
onderzoek B+O. Het resultaat van deze exercitie is dat het begrip kwaliteitsborging in dit eva¬ 
luatieonderzoek de volgende deelverzameling van (elementen van) indicatoren uit het Toezicht¬ 
kader bve 2012 omvat (zie Bijlage 1 voor een korte beschrijving van elk van de indicatoren): 

- plannen; 

- informatie; 

- monitoring; 

- evaluatie; 

- verbeteraanpak; 

- deskundigheidsbevordering; 

- verankering; 

- externe dialoog. 

Op basis van deze operationalisering is de stand van de kwaliteitsborging in 2009 in de instel¬ 
lingen gemeten. Het vormt tevens de basis voor het meten van de ontwikkelingen in de kwali¬ 
teitsborging in de periode 2009-2014 (voor de gehanteerde werkwijze bij het meten van de 
ontwikkelingen: zie paragraaf 3.3.1). 

Over de (ontwikkelingen in de) kwaliteitsborging van de bekostigde mbo-instellingen wordt 
verslag gedaan in hoofdstuk 4 van dit onderzoeksrapport. 

Aan het onderzoek B+O hebben alleen bekostigde instellingen deelgenomen. Voor niet- 
bekostigde instellingen (NBI's) is de stand van de kwaliteitsborging in 2009 gereconstrueerd in 
de gesprekken die in de instellingen zijn gevoerd. Over de bevindingen van de niet-bekostigde 
instellingen wordt verslag gedaan in hoofdstuk 8. 


2.2.2 Onderwijskwaliteit 

De inspectie hanteert bij haar toezicht geen maat op instellingsniveau voor onderwijskwaliteit. 
Om die reden is bij de operationalisering van de onderwijskwaliteit op instellingsniveau aanslui¬ 
ting gezocht bij het onderzoek B+O. Daarin is, speciaal ten behoeve van dat onderzoek, een 
maat voor onderwijskwaliteit op instellingsniveau ontwikkeld door het combineren van indicato¬ 
ren waarover de inspectie reeds informatie beschikbaar heeft 7 : 

- het percentage zwakke opleidingen; 

- het percentage zeer zwakke opleidingen; 

- het percentage opleidingen met onvoldoende voor examinering; 

- het percentage studenten in opleidingen met voldoende diploma-opbrengsten; 

- het aantal opleidingen waarbij niet werd voldaan aan de norm voor onderwijstijd. 

Omdat de maat voor onderwijskwaliteit is gebaseerd op gegevens waarover de inspectie elk 
jaar beschikt, kan deze maat gebruikt worden voor zowel de begin-, als de tussen- en eindme- 
ting. Bij het trekken van conclusies over de ontwikkeling van deze maat voor onderwijskwaliteit 
is echter enige voorzichtigheid geboden. In de organisatie en werkwijze van het toezicht hebben 


7 Bijlage 2 bevat meer gedetailleerde gegevens over de indicatoren en de klasse-indelingen en normeringen die in 
het onderzoek B+O zijn gebruikt. 
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zich in 2012 veranderingen voorgedaan waarvan niet is uit te sluiten dat deze van invloed zijn 
op de score voor (een indicator van) onderwijskwaliteit. 

De indicatoren uit B+O zijn zodanig samengesteld dat ze met name uitdrukking geven aan de 
basiskwaliteit : het voldoen aan de normen van de inspectie. Bij de beginmeting is gebleken dat 
een deel van de 20 onderzochte mbo-instellingen bijna de maximale score heeft bereikt, en dat 
de indicatoren onvoldoende recht doen aan instellingen die boven deze basiskwaliteit uitstijgen. 
Om ten behoeve van de eindmeting meer mogelijkheden te creëren om ontwikkelingen in de 
onderwijskwaliteit in kaart te brengen, is een drietal aanvullende indicatoren gehanteerd, te 
weten het deelnemersoordeel (JOB), het percentage vsv en het percentage jaarresultaat 8 . 

In de vorige paragraaf is er al op gewezen dat aan het onderzoek B+O alleen bekostigde instel¬ 
lingen hebben deelgenomen. Over de onderwijskwaliteit bij niet bekostigde instellingen in de 
periode vóór 2012 zijn ook weinig andere informatiebronnen voorhanden. Daarmee is voor de 
NBI’s een vergelijking van de onderwijskwaliteit vóór en na 2012 in dit evaluatieonderzoek niet 
mogelijk. Het thema onderwijskwaliteit bij NBI’s komt in deze rapportage wel aan bod in hoofd¬ 
stuk 8, waar wordt ingegaan op de uitkomsten van de Staat van de Instelling en op de perceptie 
van de NBI’s over de relatie tussen kwaliteitsborging en onderwijskwaliteit. 

Over de bevindingen met betrekking tot de onderwijskwaliteit van de bekostigde mbo- 
instellingen wordt gerapporteerd in de hoofdstukken 5 en 6. 


2.2.3 Toezichtbelasting 

Eén van de doelen van het Toezichtkader bve 2012 heeft betrekking op efficiency. ‘Het toezicht 
dient zodanig te zijn ingericht dat de te behalen doelen - met name op het gebied van onder¬ 
wijskwaliteit en kwaliteitsborging - zo efficiënt mogelijk en met minder belasting voor de instel¬ 
lingen dan in de jaren 2009 - 2011 bereikt worden 1 . 

Ervaren toezichtbelasting 

In het onderzoek is voor het in kaart brengen van veranderingen in de efficiency van het toe¬ 
zicht het oordeel van instellingen over de toezichtbelasting als een centrale afhankelijke varia¬ 
bele beschouwd. Dit oordeel heeft betrekking op de vraag in welke mate de toezichtbelasting 
als licht of zwaar wordt ervaren, en op de vraag of het toezicht in de optiek van de instellingen 
proportioneel is, dat wil zeggen of het in verhouding staat met de onderwijskwaliteit en het 
niveau van de kwaliteitsborging (in hoeverre leidt een goede kwaliteitsborging en onderwijskwa¬ 
liteit tot een minder intensief toezicht). 

In de doelen van het Toezichtkader bve 2012 wordt expliciet een vergelijking gemaakt met de 
situatie in de periode 2009-2011: het doel is om de efficiency in de periode 2012-2014 te verho¬ 
gen in vergelijking met de periode 2009-2011. 

Het evaluatieonderzoek sluit hierbij aan door de ervaren toezichtbelasting over de periode 
2009-2011 (beginmeting) en de periode 2012-2014 (eindmeting) met elkaar te vergelijken. 


8 Jaarresultaat is ook onderdeel van de indicator 'diploma-opbrengsten' in het B+O onderzoek; daar betreft het echter 
de basiskwaliteit (opbrengsten wel of niet boven de inspectienorm). Met de aanvullende indicator jaarresultaat kan 
recht worden gedaan aan instellingen die boven deze norm uitstijgen. 
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Mogelijke beïnvloedende factoren 

Om het oordeel over de toezichtbelasting in perspectief te plaatsen is nagegaan of dit oordeel 

samenhangt met (zie figuur 1): 

a. het oordeel van instellingen over de werkwijze van de inspectie en de inhoud van het toe- 
zichtkader; 

b. het oordeel van de instellingen over de toezichtbaten; 

c. de stand van de kwaliteitsborging, inclusief de eigen inzet van de instelling wat betreft de 
kwaliteitsborging; 

d. de onderwijskwaliteit; 

e. de 'feitelijke’ toezichtbelasting (in termen van de tijdsinvestering die inspectietoezicht voor de 
instellingen met zich mee brengt). 


Figuur 1 - Factoren van invloed op het oordeel van instellingen over de toezichtbelasting 



Er is voor gekozen om in het evaluatieonderzoek op twee manieren een indicatie van de feitelij¬ 
ke toezichtbelasting (in termen van tijdsinvestering) te verkrijgen: 

a. De inschatting van mbo-instellingen van de tijd die de instelling besteedt aan de inspectiebe¬ 
zoeken (voorbereiding, uitvoering en nazorg). Bij de beginmeting bleek dat een inschatting 
van de tijdsinvestering in absolute zin - uitgedrukt in aantal uren - voor de meeste instellin¬ 
gen niet mogelijk was. Daarom is in de eindevaluatie gevraagd naar de tijdsinvestering in re¬ 
latieve zin: is de tijdsinvestering in de periode 2012-2014 hoger, gelijk of lager dan in de pe¬ 
riode 2009-2011? 

b. Het aantal onderzoeken van de inspectie in de periode 2009-2011 en in de periode 2012- 
2014. Het gaat daarbij, op instellingsniveau, over onderzoeken in het kader van de landelijke 
steekproef (stelselonderzoek), tweede orde toezicht, thema-onderzoeken en andere (hand- 
havings)onderzoeken zoals naar de onderwijstijd. Bij het vaststellen van een maat voor het 
aantal inspectie-onderzoeken is door het toepassen van weegfactoren rekening gehouden 
met de omvang van de onderzoeken (zie hoofdstuk 3, paragraaf 3.3.3). 
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Over de bevindingen met betrekking tot de toezichtbelasting van de bekostigde mbo- 
instellingen wordt gerapporteerd in hoofdstuk 7. De niet-bekostigde instellingen komen weder¬ 
om aan de orde in hoofdstuk 8. 

2.3 Onderzoeksvragen 

Voortvloeiend uit het voorgaande en gerelateerd aan de doelen van het Toezichtkader bve 
2012 zijn de volgende zeven onderzoeksvragen geformuleerd, die in de hoofdstukken 4 t/m 8 
aan bod komen: 

1. Is de kwaliteitsborging in instellingen in 2014 op een hoger niveau dan in 2009? 

2. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de kwaliteitsborging in instellingen? 

3. Is de onderwijskwaliteit in instellingen in 2014 op een hoger niveau dan in de periode 2009- 
2011? 

4. Is er is een positieve samenhang tussen kwaliteitsborging en onderwijskwaliteit? 

5. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de onderwijskwaliteit in instellingen? 

6. Is de toezichtbelasting voor de mbo-instellingen is in 2012-2014 lager dan in de periode 
2009-2011? 

7. Is er een verband tussen (een relatief hoge stand van) de kwaliteitsborging en (een relatief 
lage) toezichtbelasting in de instellingen? 

Onderstaand worden de onderzoeksvragen kort toegelicht. 

1. Hoger niveau van kwaliteitsborging 

De vraag of in 2014 de kwaliteitsborging in de mbo-instellingen is verbeterd, is beantwoord door 
het meten van de ontwikkelingen in de kwaliteitsborging (zie par. 3.3.1). 

2. Bijdrage van inspectie-onderzoeken aan verbetering van de kwaliteitsborging 

De bijdrage van de inspectie aan de verbetering van de kwaliteitsborging is niet hard te meten. 
De informatie hierover is afkomstig uit de gesprekken in de instellingen. De informanten is ge¬ 
vraagd een inschatting te maken van de bijdrage van de inspectie, in relatie tot andere factoren 
die van invloed kunnen zijn op de ontwikkeling van de kwaliteitsborging en onderwijskwaliteit in 
de instelling. 

3. Hoger niveau van onderwijskwaliteit 

De vraag in 2014 de onderwijskwaliteit in de mbo-instellingen is verbeterd, is beantwoord door 
het meten van ontwikkelingen in de onderwijskwaliteit, waarbij onderscheid is gemaakt tussen 
de basisindicatoren voor onderwijskwaliteit (gericht op het voldoen aan normen op het gebied 
van onderwijsprocessen, examinering, diploma-opbrengsten en naleving van wettelijke vereis¬ 
ten) en de aanvullende indicatoren voor onderwijskwaliteit (JOB, vsv, jaarresultaat) (zie par. 
3.3.2). 

4. Samenhang tussen kwaliteitsborging en onderwijskwaliteit 

Het onderzoek 'Besturing en onderwijskwaliteit in het mbo’ (B+O) laat zien dat instellingen sterk 
verschillen in het niveau van kwaliteitsborging en dat er een sterke relatie is tussen de kwali¬ 
teitsborging en de onderwijskwaliteit (zij het niet in elke mbo-instelling). Deze bevinding vormt 


22 



een belangrijke reden voor de inspectie om in het Toezichtkader bve 2012 de kwaliteitsborging 
een belangrijke plaats te geven. 

In dit evaluatieonderzoek zijn de kwaliteitsborging en de onderwijskwaliteit op instellingsniveau 
op vergelijkbare wijze gemeten als in het onderzoek B+O 9 . Ook de relatie tussen kwaliteitsbor¬ 
ging en onderwijskwaliteit is in de analyses op vergelijkbare wijze in kaart gebracht. Daarnaast 
is deze samenhang een van de thema’s in de gesprekken die in de mbo-instellingen zijn ge¬ 
voerd. Voor de NBI’s zijn deze gesprekken de enige informatiebron om de onderzoeksvraag te 
beantwoorden, omdat NBI’s niet zijn betrokken in B+O. 

5. Bijdrage van inspectie-onderzoeken aan verbetering van de onderwijskwaliteit 

Net als de bijdrage van de inspectie aan de verbetering van de kwaliteitsborging is ook de 
informatie over de bijdrage aan de verbetering van de onderwijskwaliteit afkomstig uit de ge¬ 
sprekken in de mbo-instellingen. 

6. Lagere toezichtbelasting 

Het verminderen van de toezichtbelasting voor de instellingen is een expliciet doel van het 
Toezichtkader bve 2012. Het gehanteerde toezichtmodel kent enkele organisatorische en in¬ 
houdelijke vernieuwingen die van invloed kunnen zijn op de toezichtbelasting: 

a. een driejaarlijkse instellingsanalyse (Staat van de Instelling). Dit betekent o.a. dat de inspec¬ 
tie in instellingen niet langer jaarlijks, maar eens per drie jaar bij een steekproef van oplei¬ 
dingen onderzoek uitvoert; hier staat tegenover dat in de instellingsanalyse meer aandacht 
en tijd wordt besteed aan kwaliteitsborging op instellingsniveau; 

b. een integratie van onderzoek naar de onderwijskwaliteit en naar de examenkwaliteit; 

c. thema-onderzoeken en aanvullende handhavingsonderzoeken worden zo veel mogelijk 
gekoppeld aan de instellingsanalyse, zodat hiervoor geen afzonderlijke inspectiebezoeken 
hoeven plaats te vinden. 

In het onderzoek is nagegaan in hoeverre deze veranderingen in de praktijk zijn gerealiseerd en 
in de optiek van de instellingen leiden tot een verminderde toezichtbelasting. Vanwege de drie¬ 
jaarlijkse instellingsanalyse wordt hierbij een periode van drie jaar aangehouden: 2012-2014 
versus 2009-2011. 

Zoals beschreven in paragraaf 2.2.3, is in het onderzoek onderscheid gemaakt tussen de erva¬ 
ren toezichtbelasting en de 'feitelijke’ toezichtbelasting (in termen van de tijdsinvestering die 
inspectietoezicht voor de instellingen met zich mee brengt). In de gesprekken en in de analyses 
is nagegaan in hoeverre de ervaren en ‘feitelijke’ toezichtbelasting worden beïnvloed door of 
samenhangen met andere aspecten van het inspectie-onderzoek, zoals de tevredenheid van 
instellingen over de inspectie-onderzoeken en de ervaren baten van het toezicht. 

7. Samenhang tussen de stand van de kwaliteitsborging en de toezichtbelasting 

De relatie tussen de stand van de kwaliteitsborging en de toezichtbelasting in de instelling komt 
aan bod in de gesprekken met de mbo-instellingen en is daarnaast onderwerp van analyse: 
nagegaan is of bij instellingen met een relatief hoge score voor kwaliteitsborging de toezichtbe¬ 
lasting vaker c.q. sterker is afgenomen. 


9 Zoals eerder beschreven, zijn t.b.v. de meting van (ontwikkelingen in de) onderwijskwaliteit naast de indicatoren uit 
B+O aanvullende indicatoren gehanteerd (JOB, vsv, jaarresultaat). 
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3 Onderzoeksopzet 


Om na te gaan of de doelen van het Toezichtkader bve 2012 zijn gerealiseerd, wordt in dit 
evaluatieonderzoek de stand van zaken in de periode 2009-2011 (vóór het Toezichtkader bve 
2012) vergeleken met de periode 2012-2014 (de werkingsperiode van het Toezichtkader bve 
2012). Daartoe zijn drie metingen uitgevoerd in 20 bekostigde en in 4 niet-bekostigde instellin¬ 
gen. In elk van de metingen zijn gesprekken gevoerd in de instellingen en zijn aanvullende 
bronnen geraadpleegd en geanalyseerd, afkomstig van de inspectie en van de instellingen zelf. 
Uitgangspunten bij de keuze van de onderzoeksaanpak zijn: 

- Het onderzoek is gericht op een zo groot mogelijke vergelijkbaarheid van informatie op de 
verschillende meetmomenten. Dit betekent ten eerste dat dezelfde instellingen in de diverse 
metingen worden betrokken, en ten tweede dat de operationalisering van de begrippen, de 
gehanteerde maten voor de meting van ontwikkelingen en de aard van de bronnen bij de di¬ 
verse metingen zo veel mogelijk gelijk zijn. 

- De onderzoekers geven niet zelf een oordeel over de stand van de onderwijskwaliteit en de 
kwaliteitsborging in de instellingen. Dat is de uitkomst van het toezicht door de inspectie. 

In dit hoofdstuk worden drie centrale elementen van de onderzoeksaanpak gepresenteerd. 
Achtereenvolgens komen aan bod: de selectie van de instellingen (paragraaf 3.1), de drie me¬ 
tingen (paragraaf 3.2) en de analyses op de bevindingen (paragraaf 3.3). 


3.1 Selectie van instellingen 

Bekostigde instellingen 

De 20 bekostigde instellingen zijn geselecteerd uit de 27 instellingen, die hebben deelgenomen 
aan het onderzoek ‘Besturing en Onderwijskwaliteit in het mbo 1 (B+O). Zoals aangegeven in 
hoofdstuk 2, bood het onderzoek B+O de mogelijkheid om voor de beginmeting een gelijke 
informatiebasis voor alle instellingen te realiseren wat betreft de kwaliteitsborging en onderwijs¬ 
kwaliteit op instellingsniveau. Door gebruik te maken van de beschikbare informatie uit het 
onderzoek B+O kon voorts de onderzoekslast voor de bij het onderzoek te betrekken instellin¬ 
gen beperkt blijven. De 20 instellingen bleken als volgt verdeeld te zijn over de jaren waarin de 
Staat van de Instelling is uitgevoerd: 

2012: 4 instellingen; 

2013: 9 instellingen; 

2014: 7 instellingen. 

De 20 instellingen zijn representatief voor de 27 instellingen van het onderzoek B+O. Voorts is 
achteraf nagegaan in hoeverre de steekproef van 20 instellingen representatief is voor alle 69 
mbo-instellingen. Hiertoe is de uitslag van de Staat van de Instelling (SVI) van de steekproef 
vergeleken met het landelijke beeld. Dan blijkt dat het percentage instellingen waarvan de 
kwaliteitsborging op instellingsniveau als voldoende of goed is beoordeeld, in de steekproef 
voor dit evaluatieonderzoek hoger ligt dan gemiddeld: 60% vs. 45%. Het verschil doet zich met 
name voor bij de instellingen waar in 2012 de SVI is uitgevoerd. Aangezien de stand van de 
kwaliteitsborging noch in het onderzoek B+O, noch in het onderhavige evaluatieonderzoek bij 
de selectie een rol speelde, wordt deze in dit opzicht enigszins selectieve steekproef be- 
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schouwd als een toeval. Niettemin moet bij de interpretatie van de bevindingen van deze evalu¬ 
atie in verband met deze selectiviteit enig voorzichtigheid worden betracht in verband met een 
mogelijk positieve vertekening. 

Niet bekostigde instellingen 

Niet bekostigde instellingen (NBI’s) zijn niet vertegenwoordigd in het onderzoek (B+O). Daarom 
is voor de selectie van de NBI’s gebruik gemaakt van een databestand van de inspectie. Er zijn 
4 NBI’s geselecteerd. Het betreft instellingen met minimaal twee opleidingen en in totaal mini¬ 
maal 50 deelnemers. Bij de selectie is er op gelet dat zich onder de geselecteerde instellingen 
maximaal één instelling bevindt die zich richt op afstandsonderwijs. 


3.2 Metingen 

Het onderzoek omvat drie metingen, te weten een beginmeting, een tussenmeting en een 
eindmeting. Bij elk van de metingen zijn alle 24 voor het onderzoek geselecteerde instellingen 
(20 bekostigde instellingen en vier niet bekostigde instellingen) betrokken. In elk van de metin¬ 
gen zijn gesprekken gevoerd met vertegenwoordigers van de instellingen en zijn aanvullende 
documenten geanalyseerd. Over de bevindingen van de beginmeting en de tussenmeting is 
verslag gedaan in afzonderlijke rapportages die met de opdrachtgever en begeleidingscommis¬ 
sie zijn besproken 10 . 

Bij de beginmeting en de eindmeting zijn in vrijwel alle bekostigde instellingen twee gesprekken 
gevoerd. De gesprekspartners variëren enigszins per instelling, maar in de regel betrof het een 
gesprek met een vertegenwoordiging van het College van Bestuur en de afdeling kwaliteit en 
een gesprek met het middenkader (teamleiders en/of sector- of locatiemanagers). In de NBI’s is 
in het algemeen gesproken met de directeur en waar van toepassing met de stafmedewerker of 
manager kwaliteitszorg. 

In de tussenmeting is één gesprek gevoerd, met een vertegenwoordiging van het College van 
Bestuur en de afdeling kwaliteit (bekostigde instellingen) of met de directeur en/of een stafme¬ 
dewerker kwaliteit (NBI’s). 

Van de gesprekken is een verslag gemaakt. Bij de beginmeting is dit verslag voor intern gebruik 
opgesteld (o.a. ten behoeve van het scoren van ontwikkelingen in de kwaliteitsborging en in de 
ervaren toezichtbelasting). Bij de tussen- en eindmeting is het gespreksverslag ter verificatie 
voorgelegd aan de gesprekspartners. 

Beginmeting 

De beginmeting is uitgevoerd in het voorjaar en de zomer van 2012 en beschrijft de situatie 
vóór de inwerkingtreding van het Toezichtkader bve 2012 (nulmeting). Deze nulmeting heeft 
voor wat betreft de stand van zaken betreffende de kwaliteitsborging en onderwijskwaliteit 
betrekking op het jaar 2009. Voor wat betreft de (ervaren) toezichtbelasting heeft de nulmeting 
betrekking op de periode 2009 t/m 2011. 


10 P. den Boer en J. Frietman (2012). Evaluatie doelbereiking Toezichtkader bve 2012: beginmeting. Nijmegen: KBA; 
P. den Boeren J. Frietman (2013). Evaluatie doelbereiking Toezichtkader bve 2012: tussenmeting. Nijmegen: KBA. 
Beide documenten zijn te downloaden op www.onderwijsinspectie.nl 
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De gesprekken in de mbo-instellingen die in 2012 in het kader van de beginmeting zijn gevoerd, 
wezen uit dat in alle instellingen in de periode 2009 t/m 2011 over het algemeen sterk is geanti¬ 
cipeerd op de inwerkingtreding van het Toezichtkader bve 2012. In meer of mindere mate is in 
die periode gebouwd aan een systeem van kwaliteitsborging dat wat betreft instrumentarium 
mede geënt is op dat toezichtkader en wat betreft de inhoud op het daarin opgenomen waarde- 
ringskader. Om die reden is in de beginmeting - naast de nulmeting die betrekking heeft op de 
stand van de kwaliteitsborging anno 2009 - voorzien in een actualisatie van de stand van zaken 
met betrekking tot de kwaliteitsborging tot en met 2011. Dit wordt in deze rapportage aangeduid 
als 'voormeting’. 

Tussenmeting 

Het Toezichtkader bve 2012 heeft een werkingsperiode van drie jaar. Dat is een lange periode 
om op terug te kijken. Om deze reden is in het onderzoek naast een begin- en een eindmeting 
een tussenmeting ingelast. De tussenmeting heeft betrekking op het jaar 2012 en is in de eerste 
helft van 2013 uitgevoerd. 

Eindmeting 

De eindmeting is uitgevoerd in de eerste helft van 2014. De focus in de gevoerde gesprekken 
lag enerzijds op de ontwikkelingen in 2013 en (de eerste helft van) 2014. Daarnaast is terugge¬ 
keken op de periode 2012-2014, de werkingsperiode van het Toezichtkader bve 2012. 

In de aanvankelijke onderzoeksopzet was de eindevaluatie gepland in begin 2015. Deze meting 
is naar voren gehaald, zodat er meer gelegenheid was om de bevindingen te gebruiken met het 
oog op de inwerkingtreding van het nieuwe toezichtkader. Het naar voren halen van de eindme¬ 
ting impliceert dat niet het gehele jaar 2014 in de meting kon worden betrokken. Bij het plannen 
van de gesprekken is er voor gezorgd dat de Staat van de Instelling bij de betreffende instelling 
was uitgevoerd en het conceptrapport daarvan met de instelling was besproken. 

De eindmeting is gericht op de eindevaluatie van het Toezichtkader bve 2012. De veranderin¬ 
gen in de kwaliteitsborging - zowel in kwantitatieve als in kwalitatieve zin - zijn in kaart gebracht 
bij alle geselecteerde instellingen, en dit geldt ook voor veranderingen in de onderwijskwaliteit 
en in de toezichtbelasting. Dit impliceert dat de kwaliteitsborging, onderwijskwaliteit en toezicht- 
belasting zo veel mogelijk op dezelfde wijze zijn geoperationaliseerd en gemeten als in de 
beginmeting. Er zijn matrices opgesteld - voor de situatie ten tijde van de beginmeting en de 
eindmeting - waarin de positie van de instellingen t.a.v. de kwaliteitsborging en t.a.v. de onder¬ 
wijskwaliteit worden bepaald (zie de volgende hoofdstukken). De relatie tussen kwaliteitsbor¬ 
ging en toezichtbelasting is op vergelijkbare wijze weergegeven. 


3.3 Analyses 

In deze paragraaf wordt beschreven hoe de ontwikkelingen in de kwaliteitsborging, onderwijs¬ 
kwaliteit en toezichtbelasting zijn gemeten en op welke wijze de analyses op de verkregen data 
zijn uitgevoerd. 
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3.3.1 Kwaliteitsborging 


Nulmeting 

Ten behoeve van de nulmeting is de kwaliteitsborging anno 2009 gemeten door een herbere- 
kening van de scores uit het onderzoek B+O. De indicatoren uit het waarderingskader van het 
Toezichtkader bve 2012 én de samenhang tussen kwaliteitsborging en onderwijskwaliteit (bron: 
B+O) vormden de grondslag voor deze herberekening. Het scoren van de kwaliteitsborging voor 
de nulmeting gebeurde in drie stappen: 

- als eerste stap is in de vorm van een matrix in beeld gebracht welke elementen uit het onder¬ 
zoek B+O corresponderen met de elementen uit de portretten van gebied 4 van het waarde¬ 
ringskader; 

- vervolgens zijn in deze matrix de elementen van kwaliteitsborging geselecteerd die samen¬ 
hang vertonen met onderwijskwaliteit; 

- ten slotte zijn bij de aldus geselecteerde elementen van kwaliteitsborging de scores uit het 
onderzoek B+O bij elkaar opgeteld. Deze opgetelde scores gelden als de stand van de kwali¬ 
teitsborging in de instellingen anno 2009. 

Vervolgmetingen 

Bij elk van de vervolgmetingen (voormeting 2009 t/m 2011, tussenmeting 2012, eindmeting 
2013/2014) is de ontwikkeling van de kwaliteitsborging in de onderzochte mbo-instellingen 
uitgedrukt in een afzonderlijke score. Hiertoe zijn analyses uitgevoerd op de gesprekken die bij 
elk van de metingen in de instellingen zijn gevoerd; daarbij zijn ook documenten van de instel¬ 
lingen betrokken. Bij het scoren van de ontwikkelingen vormen de bij de nulmeting geselecteer¬ 
de elementen van kwaliteitsborging het uitgangspunt. Bij het scoren is niet gekeken of de instel¬ 
ling aan de portretten van het waarderingskader voldoet, maar in welke mate verbeteringen zijn 
gerealiseerd. 

De scores zijn intersubjectief vastgesteld, d.w.z. dat de werkwijze bij het scoren door de onder¬ 
zoekers meermalen op elkaar is afgestemd. 

Meer gedetailleerd is de werkwijze bij het scoren van ontwikkelingen in de kwaliteitsborging als 
volgt: Voor elk van de acht geselecteerde indicatoren uit het waarderingskader afzonderlijk is de 
ontwikkeling in kaart gebracht aan de hand van een vijfpuntsschaal, lopend van ‘aanzienlijke 
verslechtering' tot ‘aanzienlijke verbetering’. Deze scores per indicator zijn een gewogen optel¬ 
som van ontwikkelingen per element van deze indicator. De scores zijn als volgt tot stand ge¬ 
komen: 

a. Op indicator-niveau: 

- een verbetering op een element van de indicator krijgt score +1; 

- een aanzienlijke verbetering op een element krijgt score +2; 

- een verslechtering op een element krijgt score -1; 

- een aanzienlijke verslechtering op een element krijgt score -2; 

Voor elk van de metingen is door het sommeren van positieve en negatieve scores een sco¬ 
re per indicator vastgesteld. 

b. De scores van de indicatoren zijn bij elkaar opgeteld tot een somscore per meting. 

c. Ten slotte zijn de scores van de drie metingen gesommeerd tot een totaalscore voor de 
ontwikkeling van de kwaliteitsborging in de periode 2009-2014. 
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De gekozen werkwijze maakt het mogelijk om vergelijkingen te trekken tussen: 

- mbo-instellingen: welke instellingen hebben zich sterker en minder sterk ontwikkeld wat 
betreft de kwaliteitsborging? 

- metingen: zijn de meeste verbeteringen gerealiseerd voorafgaand aan / anticiperend op de 
inwerkingtreding van het Toezichtkader bve 2012 of daarna? 

- indicatoren: bij welke indicatoren van kwaliteitsborging is het meest sprake van verbeterin¬ 
gen? 

Op basis van de scores voor de ontwikkeling van de kwaliteitsborging zijn de instellingen inge¬ 
deeld in klassen. Deze klasse-indeling is met name gebruikt om de ontwikkeling van de kwali¬ 
teitsborging te relateren aan onder meer de ontwikkeling van de onderwijskwaliteit en van de 
toezichtbelasting. 


3.3.2 Onderwijskwaliteit 

Zoals eerder aangegeven in paragraaf 2.2.2, is de onderwijskwaliteit van de mbo-instellingen 
gemeten door: 

- de maat voor (basisindicatoren voor) onderwijskwaliteit zoals gebruikt in B+O (nulmeting) te 
reproduceren t.b.v. de eindmeting, en 

- deze maat te combineren met de scores op aanvullende indicatoren van onderwijskwaliteit 
(vsv, JOB, jaarresultaat), zodat voor onderwijskwaliteit één maat ontstaat. 

De gecombineerde maat voor onderwijskwaliteit omvat daarmee acht indicatoren: vijf basisindi¬ 
catoren en drie aanvullende. 

Voor het meten van (ontwikkelingen in) de onderwijskwaliteit zijn in het evaluatieonderzoek 
geen nieuwe gegevens verzameld; alle informatie over onderwijskwaliteit berust op bewerkin¬ 
gen van bestaande data van de inspectie. 

De gehanteerde werkwijze wordt hieronder uitgewerkt. 

1. Om robuuste gegevens te verkrijgen over de periode vóór en tijdens het Toezichtkader bve 
2012, zijn waar mogelijk gegevens over de jaren 2009-2010 (nulmeting) samengevoegd, en 
hetzelfde geld voor de gegevens over de jaren 2012-2013 (eindmeting). 

2. Voor alle indicatoren - de vijf uit B+O en de drie aanvullende - zijn de gemiddelde scores 
voor 2009-2010 vergeleken met die van 2012-2013. Het resultaat is een score voor de ont¬ 
wikkeling per indicator met drie categorieën: toename (1), gelijke score (0) of afname (-1). 

3. De scores voor de ontwikkeling per indicator zijn gesommeerd tot een totaalscore met waar¬ 
den die kunnen uiteenlopen van -8 tot +8. 

4. De totaalscores voor ontwikkeling van de onderwijskwaliteit zijn gerubriceerd in vijf klassen: 
sterke toename (>= +3), toename (>= 1, < 3), geen verandering (0), afname (<= -1, > -3) en 
sterke afname (<= -3). 


3.3.3 Toezichtbelasting 

In paragraaf 2.2.3 is beschreven vanuit welke invalshoeken het begrip toezichtbelasting in dit 
onderzoek wordt benaderd. In deze paragraaf wordt ingegaan op de kwantitatieve invalshoek: 
het aantal inspectie-onderzoeken als indicator voor de tijdsinvestering die met de onderzoeken 
is gemoeid. 
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Voor het berekenen van het aantal inspectie-onderzoeken is de opleiding als eenheid genomen 
(bijvoorbeeld: drie opleidingen betrokken in stelselonderzoek telt voor 3). 

Door de verandering in het toezichtregime in 2012 kan het aantal onderzoeken vóór en na 2012 
niet één-op-één met elkaar worden vergeleken. De belangrijkste verandering in 2012 betreft het 
integreren van de onderzoeken (per opleiding) naar onderwijsproces en examinering, en het 
grotere gewicht van kwaliteitsborging in de onderzoeken op opleidingsniveau. 

Om de toezichtbelasting - uitgedrukt in het aantal onderzoeken - vóór en na 2012 met elkaar te 
kunnen vergelijken is derhalve een weging toegepast. Afhankelijk van de omvang van het on¬ 
derzoek is aan een onderzoek een hoger of lager aantal punten (tijdseenheden) toegekend. Op 
basis van de gesprekken in de instellingen en informatie van de inspectie over de omvang van 
de onderzoeken zijn de volgende weegfactoren toegepast. 

Vóór 2012: 

- alle onderzoeken (stelselonderzoek, risicogericht onderzoek inclusief vervolgtoezicht, exa- 
menonderzoek, nalevings- en thema-onderzoeken, bestuurlijk gesprek): per opleiding 1 punt: 

Na 2012: 

per opleiding (minimaal 3, maximaal 5) in de Staat van de Instelling: 2 punten 11 ; 
kwaliteitsborging instellingsbreed (Staat van de Instelling): 1,5 punt 12 ; 
overige onderzoeken: 1 punt. 

Bij het interpreteren van de uitkomst van de op deze wijze gekwantificeerde toezichtbelasting 
passen enkele voorbehouden: 

- er kan geen rekening worden gehouden met het gegeven dat de feitelijke tijdsinvestering van 
de instellingen per onderzoek kan variëren, al naar gelang de omstandigheden. De resultaten 
moeten worden gezien als een gemiddelde; 

- de weging is een ‘educated guess’ op basis van de beschikbare informatie. Het was in het 
kader van dit evaluatieonderzoek niet mogelijk de weegfactoren in de praktijk te toetsen. 

Om deze redenen moeten de uitkomsten van de kwantificering niet worden verabsoluteerd. De 
bevindingen zijn in het onderzoek gebruikt om - ook in combinatie met andere, meer subjectie¬ 
ve benaderingen van toezichtbelasting - een tendens in de ontwikkeling van de toezichtbelas¬ 
ting aan te geven. 

Klanttevredenheidsonderzoeken die de inspectie zelf uitvoert zijn in dit evaluatieonderzoek wel 
bestudeerd als voorbereiding op de gesprekken in de instellingen, maar niet als zodanig in de 
analyses van de toezichtbelasting betrokken. De reden daarvoor is dat niet van alle onderzoch¬ 
te instellingen informatie op basis van klanttevredenheidsonderzoeken beschikbaar was. 


11 Dit betreft het geïntegreerde onderzoek op opleidingsniveau. 

12 Dit is inclusief het voorbereidende gesprek. 
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4 Ontwikkelingen in de kwaliteitsborging 


In hoofdstuk 2 zijn de onderzoeksvragen geformuleerd, die in dit evaluatieonderzoek worden 
beantwoord. Voor wat betreft de bekostigde instellingen komen twee daarvan in dit hoofdstuk 
aan bod: 

1. Is de kwaliteitsborging in instellingen in 2014 op een hoger niveau dan in 2009? 

2. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de kwaliteitsborging in instellingen? 

Om de eerste onderzoeksvraag te beantwoorden wordt allereerst in paragraaf 4.1.1 de stand 
van de kwaliteitsborging in de onderzochte instellingen in 2009 beschreven. Daarna wordt in 
paragraaf 4.1.2 ingegaan op de ontwikkelingen van de kwaliteitsborging in de periode 2009- 
2014. 

Paragraaf 4.2 staat in het teken van onderzoeksvraag 2: de bijdrage van het inspectietoezicht 
(en het achterliggende waarderingskader) aan de verbetering van de kwaliteitsborging. 

De beantwoording van de onderzoeksvragen vindt plaats in het hoofdstuk 'Samenvatting en 
conclusies’. In dit hoofdstuk wordt aan het eind van de subparagrafen een kernachtig antwoord 
op de onderzoeksvragen geformuleerd. 


4.1 De kwaliteitsborging 

4.1.1 De kwaliteitsborging in 2009 

Op basis van een bewerking van de data van het onderzoek Besturing en onderwijskwaliteit in 
het mbo (B+O) is de stand van de kwaliteitsborging in 2009 (nulmeting) berekend. In overzicht 

4.1 zijn de gemiddelde scores van de mbo-instellingen weergegeven voor de onderscheiden 
indicatoren van kwaliteitsborging. De rechterkolom bevat de theoretisch maximale score. 
Duidelijk is te zien dat er gemiddeld genomen nog veel ruimte is voor verbetering; het optimum 
was in 2009 nog (lang) niet bereikt. Dat geldt voor de overall score en, zij het in wisselende 
mate, voor de afzonderlijke indicatoren. De meeste ruimte voor verbetering ligt bij de indicato¬ 
ren monitoring, verbeteraanpak en (in absolute zin) evaluatie. 
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Overzicht 4.1 - Gemiddelde en theoretisch maximaal haalbare score voor de indicatoren van 
kwaliteitsborging: stand van zaken 2009 (bewerking score onderzoek B+0 (n = 20) 


Indicator 

gemiddelde 

score 

theoretisch 

maximum 

Plannen 

9 

17 

Informatie 

9 

16 

Monitoring 

4 

12 

Evaluatie 

21 

47 

Verbeteraanpak 

3 

10 

Verankering 

7 

11 

Externe dialoog 

6 

9 

Totaal 

59 

122 


Nadere analyse wijst op grote verschillen tussen de instellingen in de stand van de kwaliteits¬ 
borging in 2009. Overzicht 4.2 laat de spreiding van de scores over de 20 mbo-instellingen zien. 
De horizontale lijn in de grafiek geeft de gemiddelde score aan. 

De scores per instelling lopen uiteen van 29 voor de twee instellingen met laagste score tot 89 
voor de instelling met de hoogste score. Daarbij valt op dat geen van de instellingen, ook niet 
de hoogst scorende, bij alle indicatoren een score heeft boven het gemiddelde per indicator. 


Overzicht 4.2 - Scores voor kwaliteitsborging, stand van zaken 2009: per instelling en gemid¬ 
deld (bewerking score onderzoek B+O, n = 20) 



De gevoerde gesprekken met de instellingen bevestigen de grote verschillen in 2009. Verte¬ 
genwoordigers van instellingen met een lage score geven aan dat de instelling wat betreft kwali¬ 
teitsborging Van ver moest komen’. Het betreft deels relatief kleine instellingen waar kwaliteit 
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weliswaar van oudsher leeft (in vakinhoudelijke en deels didactische zin), maar waar kwaliteits¬ 
zorg in 2009 nog geen lange traditie had. 

Op basis van de stand van de kwaliteitsborging in 2009, zijn de instellingen naar analogie van 
B+O in drie klassen ingedeeld. Dit is met name gebeurd ten behoeve van andere analyses (zie 
onder meer paragraaf 4.2). Het is een indeling op basis van de relatieve scores van de instellin¬ 
gen: de vijf instellingen met de laagste score gerekend tot de categorie ‘laag’, de vijf met de 
hoogste score tot de categorie ‘hoog’ en de overige instellingen tot de categorie ‘midden’ 


Overzicht 4.3- Klasse-indeling o.b.v . van de stand van de kwaliteitsborging in 2009 (n=20) 



Aantal 

% 

laag 

5 

25% 

midden 

10 

50% 

hoog 

5 

25% 


4.1.2 Ontwikkeling van de kwaliteitsborging: stand 2009-2014 

Bij de ontwikkeling van de kwaliteitsborging vanaf 2009 wordt onderscheid gemaakt tussen de 
periode 2009-2011 (anticiperen op het nieuwe toezichtkader) en de periode 2012-2014 (wer- 
kingsperiode van het toezichtkader). 

Ontwikkelingen in de kwaliteitsborging in de periode 2009-2011 

In overzicht 4.4 is te zien dat mbo-instellingen in de periode 2009-2011 , voorafgaand aan de 
invoering van het toezichtkader, al actief met kwaliteitsborging bezig waren. Dit geldt in het 
bijzonder wat betreft de indicatoren plannen en monitoring (o.a. tevredenheidsonderzoeken bij 
studenten, bedrijven en personeel). De gesprekken in mbo-instellingen bevestigen dat het 
bouwen aan de kwaliteitsborging in deze periode sterk in het teken stond van het Toezichtkader 
bve 2012. 


Overzicht 4.4 - Ontwikkeling van de kwaliteitsborging in 2009-2011 en in 2012-2014 (gesom¬ 
meerde scores 20 bekostigde mbo-instellingen) 


Indicator 

2009-2011 

2012-2014 

totale ontwikkeling 
2009-2014 

Plannen 

27 

22 

49 

Informatie 

11 

12 

23 

Monitoring 

20 

6 

26 

Evaluatie 

16 

29 

45 

Verbeteraanpak 

15 

10 

25 

Verankering 

15 

16 

31 

Externe dialoog 

8 

4 

12 

Deskundigheidsbevordering 1 

n.v.t. 

16 

16 

Totaal 

112 

115 

227 


1 De indicator deskundigheidsbevordering is in het onderzoek B+O niet meegenomen; door het ontbreken van een 
gegevensbasis konden ontwikkelingen in 2009-2011 niet worden gescoord. 
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Ontwikkelingen in de kwaliteitsborging in de periode 2012-2014 

In de periode 2012-2014 is volgens de meeste gesprekspartners in de instellingen sprake van 
een dóórontwikkeling van de kwaliteitsborging. Daarbij springt de indicator evaluatie er uit (o.a. 
audits, zelfevaluaties). 

Uit de gevoerde gesprekken blijkt dat volgens veel instellingen het kwaliteitsborgingssyteem - 
afgezien van finetuning en onderhoud - nu 'staat’ en dat de nadruk ligt op het verder indalen in 
de organisatie. Instellingen geven aan dat de werking van de kwaliteitszorg op teamniveau 
varieert maar in het algemeen nog voor verbetering vatbaar is. Met name het systematisch 
evalueren en verbeteren is voor veel teams lastig en lang niet alle docenten hebben hier affini¬ 
teit mee. Het streven is dat kwaliteitszorg 'tussen de oren’ van teams en docenten zit. Zeker nu 
het systeem voor kwaliteitszorg grotendeels is gebouwd, verschuift het accent naar de cultuur. 
Bij het bevorderen van kwaliteitscultuur en het kwaliteitsbewustzijn wordt de rol van de teamlei¬ 
der of opleidingsmanager cruciaal geacht. De professionalisering van teamleiders heeft in veel 
instellingen dan ook toenemende aandacht. In het kader van het bevorderen van een kwaliteits¬ 
cultuur passen ook thema’s als het stimuleren van een aanspreekcultuur en een leer- of ontwik¬ 
kelingsgerichte cultuur, instrumenten als (intercollegiale) lesobservaties en intervisie, en het 
bevorderen van resultaatverantwoordelijkheid c.q. taakvolwassenheid van teams. 

In overzicht 4.4 komen deze ontwikkelingen tot uitdrukking in de score voor de indicatoren 
deskundigheidsbevordering en verankering 13 in de periode 2012 t/m 2014. Nadere analyse wijst 
uit dat de scores voor deze beide indicatoren voor een groot deel voor rekening komen van het 
afgelopen jaar (2013 en begin 2014, niet afzonderlijk in het overzicht opgenomen), wat er op 
wijst dat de aandacht hiervoor nog steeds toeneemt. 

Ontwikkelingen per indicator 

Per indicator uit het waarderingskader zijn de belangrijkste ontwikkelingen in de periode 2009- 
2014 als volgt: 

Plannen 

Bij de ontwikkelingen op het gebied van de planvorming is een accentverschuiving zichtbaar: 
in de periode 2009-2011 ligt het accent op het ontwikkelen van teamplannen en vervolgens 
op het op elkaar afstemmen van de teamplannen en de plannen op hoger organisatieniveau. 
Inmiddels zijn er in alle instellingen teamplannen, zij het niet altijd bij alle teams. De kwaliteit 
van de teamplannen en de manier waarop ze zijn samengesteld lopen binnen instellingen 
soms sterk uiteen; 

vanaf 2012 worden periodieke voortgangsgesprekken nadrukkelijker ingezet als middel om 
de PDCA-cycli op de verschillende niveaus rond te maken en op elkaar af te stemmen. Aan 
de voortgangsgesprekken liggen managementrapportages ten grondslag. Het gaat in eerste 
instantie om voortgangsgesprekken tussen CvB en sectormanagers en vervolgens tussen 
sectormanagers en teamleiders/opleidingsmanagers. Er wordt gewerkt aan de kwaliteit van 
de voortgangsgesprekken en de onderliggende managementrapportages. 

Een blijvend aandachtspunt is het op elkaar afstemmen van de kwaliteitscycli in de tijd. Het is 
een hele uitdaging voor de instellingen om er voor te zorgen dat alle elementen en instrumenten 
van kwaliteitsborging op de verschillende niveaus (plannen, enquêtes, zelfevaluaties, audits) in 
de tijd goed op elkaar aansluiten. 


13 Verankering heeft, behalve op de werking (in de praktijk) van de kwaliteitsborging volgens een vastgelegd systema¬ 
tiek en op het vastleggen van verantwoordelijkheden, o.a. ook betrekking op de borging van de examenkwaliteit 
door de examencommissie. De toename van ontwikkelingen op het gebied van verankering in met name 2013 is 
deels toe te schrijven aan verbeteringen op dit punt. 
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Instellingen maken in toenemende mate melding van het streven om de kwaliteitsgebieden 
onderwijs, financiën en personeel (HRM) te integreren. Dit is een ingrijpende operatie die een 
relatief lange adem vergt. 

Informatie 

In de afgelopen jaren hebben de meeste instellingen programma’s aangeschaft waarmee een 
‘schil’ om administratiesystemen wordt gelegd, waardoor het gemakkelijker wordt om manage¬ 
mentinformatie (afkomstig uit verschillende bronnen) te genereren en overzichtelijk te presente¬ 
ren. Daarmee komt het door veel instellingen gewenste ‘dashboard’ steeds meer binnen bereik. 
In een aantal instellingen is dit er al; het programma is volledig gevuld, beschikbaar voor alle 
organisatielagen (inclusief de teams) en wordt ook daadwerkelijk gebruikt, waardoor managers 
op alle lagen gemakkelijk toegang hebben tot actuele informatie. In andere instellingen is het 
nog niet zo ver; daar wordt het programma momenteel in stappen gevuld (wat enkele jaren kan 
duren), is het vooralsnog beschikbaar op centraal en/of sectorniveau of worden voorbereidingen 
getroffen (zoals training) voor het gebruik op teamniveau. 

Behalve door middel van de ‘schil’ om de administratiesystemen wordt ook op andere manieren 
getracht de informatie op een handzame manier te presenteren, bijvoorbeeld door informatie 
gebundeld en goed 'getimed’ aan de teams te verstrekken, en door kengetallen overzichtelijk op 
een rij te zetten, zoals in de vorm van kwaliteitskaarten. 

Monitoring 

In alle instellingen bestaan al sinds enkele jaren diverse vormen van monitoring, zoals tevre- 
denheidsmetingen onder studenten - JOB, vaak aangevuld met eigen enquêtes - ouders, 
personeel en leerbedrijven. In de periode 2012-2014 zijn er in dit opzicht in de meeste instellin¬ 
gen geen ingrijpende nieuwe ontwikkelingen. Uitzondering hierop vormen docent- en lesevalua¬ 
ties door studenten: langzamerhand begint dit instrument voet aan de grond te krijgen in de 
instellingen. Dit past in het streven van instellingen om het primair proces, de interactie tussen 
docent en student, een meer prominente plek te geven in zowel de kwaliteitszorg als het perso¬ 
neelsbeleid (bijvoorbeeld: lesobservaties en studentenevaluaties als voorbereiding op functio¬ 
neringsgesprekken). 

Evaluatie 

Op het gebied van evaluatie worden in de onderzochte instellingen veel ontwikkelingen gemeld. 
Zelfevaluaties zijn steeds meer ingedaald in de organisatie; dit gebeurt nu (ook) op teamniveau. 
Wel verschilt de kwaliteit van de zelfevaluaties volgens de instellingen nogal per team. Eerder is 
al gewezen op de rol van de teamleider en van de cultuur bij kwaliteitsborging. Veel instrumen¬ 
ten voor zelfevaluatie zijn ontwikkeld in de periode 2009-2011; het waarderingskader is hier 
doorgaans in verwerkt. Vanaf 2012 is er veel aandacht voor de gebruiksvriendelijkheid van de 
zelfevaluaties: het vereenvoudigen en overzichtelijk maken van de instrumenten, waar mogelijk 
het digitaliseren en in enkele instellingen ook het rechtstreeks koppelen aan of integreren met 
het verbeterplan. Deze acties hebben tot doel om de kwaliteit van de evaluaties te verhogen en 
om de belasting voor de teams te verminderen. Door te benadrukken dat de zelfevaluaties er 
vooral zijn om de kwaliteit in het team te verbeteren (en niet als intern afrekeninstrument of voor 
de inspectie) willen instellingen bereiken dat teams bij het invullen van de zelfevaluatie kritisch 
op zichzelf durven zijn. 

Ten aanzien van de audits zijn verschillende bewegingen waar te nemen. In sommige instellin¬ 
gen worden audits in toenemende mate volgens een vaste planning en kalender uitgevoerd 
(bijvoorbeeld: elk team een keer per drie jaar). In andere instellingen wordt dit juist losgelaten 
en worden audits vaker gericht ingezet bij ‘risicoteams’; ook een combinatie van een vaste 
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frequentie en gericht auditen komt voor. Ook in andere opzichten zijn er verschillen tussen de 
instellingen: meer integrale en/of thematische audits; audits wel of niet mogelijk op verzoek van 
het team zelf. Op basis van opgedane ervaringen worden keuzes bijgesteld. 

Externe audits zijn in 2012 in opkomst. De meerderheid van de onderzochte instellingen is 
inmiddels aangesloten bij een auditpool, waarbij instellingen bij elkaar audits uitvoeren. 

Verbetering 

Het maken van een verbeterplan en het doorvoeren van verbeteringen gebeurt planmatiger en 
is beter ingebed in de PDCA-cyclus. Al eerder is gewezen op de nauwere aansluiting en soms 
integratie van de (zelfevaluatie en het verbeterplan op teamniveau en op de voortgangsge¬ 
sprekken waarin het formuleren van verbeterpunten en realiseren van verbeteringen nadrukke¬ 
lijker aan de orde komen. Niettemin wordt aangegeven dat het sluitstuk van de PDCA-cyclus 
nog de meest lastige blijft en dat er op het gebied van planmatig en systematisch verbeteren 
nog veel te winnen valt. 

Verankering 

Nadat in voorgaande jaren het kwaliteitszorgsysteem is gebouwd, is vanaf 2012 de tendens 
zichtbaar dat instellingen dit systeem overzichtelijk in kaart brengen: de instrumenten en ele¬ 
menten van het systeem, maar ook: het ‘wanneer’ (moet het gebeuren) en het ‘wie’ (is er voor 
verantwoordelijk). 

De manier waarop de kwaliteitszorg op decentraal niveau is georganiseerd - in het bijzonder de 
rol van kwaliteitszorgmedewerkers op dit niveau - loopt per instelling uiteen. In de loop van dit 
onderzoek hebben enkele instellingen andere keuzes gemaakt. Ook in deze keuzes verschillen 
de instellingen van elkaar. Het komt voor dat de formatie van kwaliteitszorgmedewerkers op 
decentraal niveau wordt uitgebreid of juist wordt ingekrompen, het accent in de taakinvulling 
kan verschuiven van adviseren en ondersteunen naar controleren of andersom. 

Een specifiek thema dat onder de vlag van ‘verankering’ wordt geschaard, is de rol van de 
examencommissie bij de borging van de examenkwaliteit. Naar verhouding hebben op dit the¬ 
ma veel ontwikkelingen plaatsgevonden, voor een belangrijk deel als gevolg van tekortkomin¬ 
gen die de inspectie bij de Staat van de Instelling heeft geconstateerd. 

Externe diaioog 

De dialoog met en betrokkenheid van het bedrijfsleven heeft in de instellingen een lange traditie 
en komt onder meer tot uiting in enquêtes onder leerbedrijven, overleggen in de vorm van bij¬ 
voorbeeld branche-adviescommissies en diverse projecten waarbij school en bedrijven samen¬ 
werken. De wens van instellingen is om hierin de kwaliteit van het onderwijs een belangrijkere 
plek te geven. 

Naar verhouding zijn er in de afgelopen jaren weinig ingrijpende veranderingen geweest in de 
dialoog met het bedrijfsleven. De belangrijkste ontwikkelingen op het gebied van de externe 
dialoog is de onder 'evaluatie' genoemde opkomst van externe audits. 

Deskundigheidsbevordering 

Professionalisering krijgt in de onderzochte mbo-instellingen steeds meer aandacht, mede door 
de impuls als gevolg van de professionaliseringsgelden. In de afgelopen jaren is professionali¬ 
sering bij veel instellingen meer en meer verankerd in organisatiebrede, strategische doelen 
van de instellingen. Daarbij zijn de scholingsthema’s voor een groot deel ingegeven door exter¬ 
ne factoren zoals Focus op vakmanschap, en beleid ten aanzien van taal en rekenen. 
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Vanaf 2012 treedt in vergelijking met voorgaande jaren de professionalisering van de teamlei¬ 
der nadrukkelijker op de voorgrond, in het bijzonder wat betreft onderwijskundig leiderschap. Dit 
is in lijn met de erkenning van de centrale rol van de teamleider in het realiseren van een kwali¬ 
teitscultuur op de werkvloer. Op docentniveau lijkt sprake van een opkomst van andere vormen 
van professionalisering dan scholing en training, meer gericht op het van en met elkaar le¬ 
ren.(bijvoorbeeld intervisie, intercollegiale lesobservaties). In inhoudelijke zin ligt er een zwaar¬ 
der accent op het versterken van pedagogisch-didactische vaardigheden, in algemene zin en 
toegespitst op specifieke thema’s en groepen studenten (zoals zorgleerlingen). 

Bevindingen van de evaluatie Toezichtkader bve 2012 in relatie tot het onderwijsverslag 
2011/2012 en 2012/2013 

Op basis van de gevoerde gesprekken in de mbo-instellingen en de geanalyseerde documen¬ 
ten kan gesteld worden dat de kwaliteitsborging in de onderzochte instellingen zich vanaf 2009 
sterk heeft ontwikkeld. Hoewel er zeker nog verbeterpunten zijn, is het duidelijk dat op het 
gebied van kwaliteitsborging in relatief korte tijd grote sprongen zijn gemaakt. 

Deze uitkomst van de onderhavige evaluatie lijkt op het eerste gezicht op gespannen voet te 
staan met de conclusies van de inspectie, zoals gerapporteerd in het onderwijsverslag ('De 
staat van het onderwijs’) 2011/2012 en in mindere mate 2012/2013. De inspectie constateert in 
2011/2012 dat bij bijna 70 procent van de instellingen de kwaliteitsborging niet op orde is. Hoe¬ 
wel in 2012/2013 op onderdelen verbeteringen worden gemeld, beoordeelde de inspectie ook in 
dat jaar bij twee derde van de instellingen de kwaliteitsborging als onvoldoende. De constate¬ 
ring van de inspectie en de bevindingen uit dit onderzoek bijten elkaar echter niet, om de vol¬ 
gende redenen: 

In de onderhavige evaluatie van het Toezichtkader bve zijn de ontwikkelingen in de kwali¬ 
teitsborging in kaart wordt gebracht, waarbij een selectie van indicatoren uit het waarde- 
ringskader als basis wordt gebruikt. Er is dus in grote lijnen gekeken naar dezelfde aspecten 
van kwaliteitsborging gekeken als in het inspectietoezicht. Echter, in de onderhavige evalua¬ 
tie is niet gemeten in hoeverre instellingen aan de inspectie-eisen voldoen. Er kan overigens 
sprake zijn van verbetering, ook als die situatie (nog) niet voldoet aan de inspectie-eisen. 
Inhoudelijk sluiten de bevindingen uit deze evaluatie en uit het onderwijsverslag op elkaar 
aan. Zowel de verbeteringen in kwaliteitsborging die de inspectie signaleert als de pijnpunten 
(met name de (uit)werking van kwaliteitsborging in de praktijk op teamniveau) komen in 
hoofdlijnen overeen met de bevindingen in de onderhavige evaluatie van het Toezichtkader 
bve 2012. 

Verschillen tussen instellingen 

Als we kijken naar de afzonderlijke instellingen, dan lopen de scores voor de ontwikkeling van 
de kwaliteitsborging in de periode 2009-2014 uiteen van 7 tot 16 14 . Dat betekent dat bij alle 
instellingen, zij het in wisselende mate, sprake is van verbeteringen in de kwaliteitsborging. Op 
basis van de mate waarin de kwaliteitsborging zich tussen 2009 en 2014 heeft ontwikkeld, zijn 
de instellingen in drie klassen ingedeeld. 


14 Zie paragraaf 3.3.1 voor de wijze van scoren. 
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Overzicht 4.5 — Klasse-indeling o. b. v. van de mate waarin de kwaiiteitsborging zich in de perio¬ 
de 2009-2014 heeft ontwikkeid (n=20) 



Aantal 1 

% 

laag (relatief geringe verbetering) 

4 

20% 

midden 

10 

50% 

hoog (relatief sterke verbetering) 

6 

30% 


1 De verhouding 5-10-5 kon niet worden gerealiseerd vanwege ex aequo scores. 


In overzicht 4.6 is de ontwikkeling van de kwaliteitsborging in 2009-2014 (de klasse-indeling uit 
bovenstaand overzicht 4.5) afgezet tegen de stand van de kwaliteitsborging in 2009 (vgl. de 
klasse-indeling in overzicht 4.3). Het overzicht laat zien dat instellingen met een relatief lage 
score voor kwaliteitsborging in 2009 (kolom 'laag' in overzicht 4.6), zich in de daaropvolgende 
jaren relatief sterk hebben ontwikkeld. Instellingen die in 2009 al een hoge stand van kwaliteits¬ 
borging hadden (kolom ‘hoog’ in overzicht 4.6), ontwikkelden zich in 2009-2014 minder sterk. Bij 
aanvankelijk laag scorende instellingen is dus sprake geweest van een inhaalslag. 

De gesprekken in de instellingen illustreren dit. Bij het management van met name de (in 2009) 
laagst scorende instellingen sprake was van een sterk besef van urgentie om de kwaliteitszorg 
snel van de grond te tillen. Hieraan lagen zowel interne overwegingen (organisatieveranderin¬ 
gen, streven naar meer uniformiteit in de organisatie en/of resultaatverantwoordelijke teams) als 
externe factoren (inspectietoezicht, beleidsimpulsen zoals Focus op Vakmanschap) ten grond¬ 
slag. 

Dat instellingen, die in 2009 al een relatief hoge stand van kwaliteitsborging in de jaren daarna 
minder vooruitgang laten zien, lijkt te maken te hebben met het gegeven dat het kwaliteitsbor- 
gingssysteem in 2009 al vrij ver was ontwikkeld. Verdere verbetering, met name in de lagere 
organisatieniveaus, zijn volgens de gesprekspartners uit deze instellingen niet in de eerste 
plaats te verwachten van een dóórontwikkeling van het systeem, maar eerder van het stimule¬ 
ren van de kwaliteitscultuur en het kwaliteitsbewustzijn. Dat is een proces waar enige jaren mee 
gemoeid zijn. 


Overzicht 4.6 - Samenhang tussen de stand van de kwaliteitsborging in 2009 en ontwikkeling 
van de kwaliteitsborging in de periode 2009-2014 (n = 20) 


' KwafKeiisborgïng 2009 

O n twi kke 1 i n 

kwaliteitsborging 2009-201Ï^^^^ 

laag 

midden 

hoog 

Totaal 

laag 


1 

3 

4 

midden 

2 

6 

2 

10 

hoog 

3 

3 


6 

Totaal 

5 

10 

5 

20 


38 






















Kernpunt beantwoording onderzoeksvraag 

De onderzoeksbevindingen wijzen eenduidig uit dat de kwaliteitsborging in de onderzochte 
instellingen in 2014 op een hoger niveau staat dan in 2009. 


4.2 De rol van het toezichtkader en het inspectietoezicht 

Alle 20 mbo-instellingen zijn het er over eens dat het Toezichtkader bve 2012 en het daarop 
gebaseerde inspectietoezicht c.q. de SVI de ontwikkeling van de kwaliteitsborging in hun instel¬ 
ling hebben beïnvloed. Overzicht 4.7 laat zien dat veruit de meeste mbo-instellingen deze in¬ 
vloed als positief ervaren. 

De instellingen die behalve een positieve ook een negatieve invioed ervaren, zijn van mening 
dat het toezichtkader, en met name de manier waarop de inspectie dat hanteert, niet goed past 
bij de eigen opvatting over kwaliteitsborging en/of met name bureaucratie in de hand werkt. Er 
zijn veel meer instellingen die in dit opzicht kritiek hebben op de werkwijze van de inspectie (zie 
paragraaf 7.2), maar uit overzicht 4.7 blijkt dat dit voor de meeste instellingen de erkenning van 
de positieve bijdrage van het waarderingskader en het inspectie-onderzoek niet in de weg staat. 


Overzicht 4.7 - Ervaren invloed van het Toezichtkader bve 2012 en het inspectietoezicht op de 
ontwikkeling van de kwaliteitsborging in de instelling (n-20) 


Aantal % 


Invloed toezichtkader: 

positieve invloed 18 90% 

deels positief, deels negatieve invloed 2 10% 

negatieve invloed 0 0% 

Invloed inspectietoezicht 

positieve invloed 17 85% 

deels positieve, deels negatieve invloed 3 15% 

negatieve invloed_ 0_ 0% 


De redenen voor de doorgaans als positief ervaren invloed van het toezichtkader en het inspec¬ 
tietoezicht op de ontwikkeling van de kwaliteitsborging zijn weergegeven in overzicht 4.8. 

Het waarderingskader is door alle instellingen verwerkt in de kwaliteitsborgingsinstrumenten. 
Dat is weliswaar vaak gebeurd omdat de inspectie dit waarderingskader als basis voor het 
toezicht hanteert, maar de meeste instellingen achten het waarderingskader ook een geschikte 
kapstok voor de inrichting van het kwaliteitszorgsysteem. Sommige instellingen geven aan dat 
niet op de eerste plaats het waarderingskader als zodanig, maar juist de schooleigen vertaling 
ervan zorgt voor de meerwaarde. Het verbinden van het waarderingskader aan de eigen visie 
op onderwijs en de eigen organisatie- en onderwijsprocessen zorgt voor herkenbaarheid en 
draagvlak en vergroot de gebruikswaarde. 


39 




Hoewel het algemene oordeel van de instellingen over het waarderingskader zeker positief is, 
zijn er ook enkele instellingen die er kanttekeningen bij plaatsen. Deze hebben te maken met de 
portretten (te weinig houvast om te bepalen wanneer iets voldoende is) en met elementen die 
volgens de betreffende instellingen te veel of ten onrechte (voorbeeld: maatwerk) of juist te 
weinig (‘echte 1 kwaliteit: het primaire proces) aandacht krijgen. Vaker echter kwam uit de ge¬ 
sprekken de wens naar voren dat het volgende waarderingskader inhoudelijk niet (te veel) 
afwijkt van het huidige, gelet op de implicaties daarvan voor de eigen kwaliteitsborging. 


Overzicht 4.8- Toelichting op de ervaren positieve invloed van het Toezichtkader bve 2012 en 
het inspectietoezicht op de ontwikkeling van de kwaliteitsborging in de instelling (meer antwoor¬ 
den mogelijk , n-20) 



Aantal 

% 

Toelichting positieve invloed toezichtkader: 
waarderingskader is kapstok voor kwaliteitsborging 

14 

70% 

verbinding aan eigen onderwijsvisie, model, processen 

3 

15% 

overig 

2 

10% 

Toelichting positieve invloed inspectietoezicht 
toezicht houdt instelling scherp 

7 

35% 

maatregelen naar aanleiding van SVI 

6 

30% 

vergroting kwaliteitsbewustzijn, meer in gesprek over kwaliteit 

5 

25% 

toezicht gebruikt om intern de (noodzaak van) kwaliteitsborging 

C 

25% 

te onderstrepen 

0 

stimulans voor kwaliteitssborgingsysteem/PDCA-cyclus 

3 

15% 

meer accent op verantwoorden, vastleggen 

3 

15% 

overig 

2 

10% 


Waar de rol van het waarderingskader bij de ontwikkeling van de kwaliteitsborging tamelijk 
eenduidig is te interpreteren, is dit bij de ervaren bijdrage van het inspectietoezicht minder het 
geval. Veel instellingen noemen meerdere overwegingen. In ongeveer gelijke mate wordt ver¬ 
wezen naar: 

- de toegevoegde waarde van externe druk. Soms wordt dit in algemene zin verwoord (‘toe¬ 
zicht houdt je scherp 1 ), maar er zijn ook instellingen die aangeven dat de kwaliteitsborging 
zonder externe druk beslist op een lager peil zou staan; 

- de verbeteringen in de kwaliteitsborging die naar aanleiding van het inspectietoezicht zijn 
doorgevoerd. Ook procedurele aanpassingen ten aanzien van bijvoorbeeld examinering wor¬ 
den hiertoe gerekend; 

- het vergroten van het kwaliteitsbewustzijn. Met name de voorbereiding op de Staat van de 
Instelling wordt hierbij meermalen genoemd: dit is in instellingen aangegrepen om in diverse 
geledingen in de organisatie het gesprek te (laten) voeren over wat men onder kwaliteit ver¬ 
staat en wat nodig is om de kwaliteit te verhogen; 

- in het verlengde van het voorgaande: het inspectietoezicht is door het management van 
instellingen ook aangegrepen om de noodzaak van kwaliteitsborging, van het verantwoorden 
van kwaliteit, te onderstrepen (met name op de lagere niveaus in de organisatie). 


40 



Kernpunt beantwoording onderzoeksvraag 

Zowel het waarderingskader als het daarop gebaseerde toezicht door de inspectie hebben 
bijgedragen aan de verhoging van het niveau van kwaliteitsborging in de onderzochte instel¬ 
lingen. 
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5 Ontwikkelingen in de onderwijskwaliteit 


Dit hoofdstuk heeft betrekking op de - vanuit het zicht van de bekostigde mbo-instellingen - 
beantwoording van de derde onderzoeksvraag van dit evaluatieonderzoek: 

3. Is de onderwijskwaliteit in instellingen in 2014 op een hoger niveau dan in de periode 2009- 
2011 ? 

Onderwijskwaliteit is, zo blijkt duidelijk uit de gesprekken die in de mbo-instellingen zijn ge¬ 
voerd, een multi-interpretabel begrip. Eerder is beschreven hoe onderwijskwaliteit in dit onder¬ 
zoek is geoperationaliseerd en gemeten. In totaal zijn acht indicatoren voor onderwijskwaliteit 
onderscheiden. Vijf ervan zijn zogenoemde basisindicatoren ; ze hebben betrekking op het 
voldoen aan eisen op het gebied van onderwijsprocessen, opbrengsten, examinering en wette¬ 
lijke vereisten. Daarnaast zijn drie aanvullende indicatoren voor onderwijskwaliteit in de analy¬ 
ses betrokken: JOB, vsv en jaarresultaat. 

Veel gesprekspartners uit de mbo-instellingen bleken - naast rendement, tevredenheid en in 
mindere mate onderwijsprocessen - nog een ander referentiekader te hanteren bij het begrip 
onderwijskwaliteit, namelijk de kwaliteit van het primaire proces, de interactie tussen docent en 
student. Deze invalshoek komt in dit kwantitatief georiënteerde hoofdstuk niet aan bod, maar 
krijgt een plek in hoofdstuk 6 waar de bijdrage van het inspectietoezicht aan de onderwijskwali¬ 
teit wordt besproken. 

In de opbouw van dit hoofdstuk wordt het onderscheid tussen basisindicatoren en aanvullende 
indicatoren weerspiegeld. In paragraaf 5.1 komen de basisindicatoren voor onderwijskwaliteit 
aan bod (stand van zaken in 2009-2010 en in 2012-2013) en in paragraaf 5.2 de aanvullende 
indicatoren. Door beide te combineren is een maat voor onderwijskwaliteit ontwikkeld die het 
onderwerp is van paragraaf 5.3. 

De beantwoording van de onderzoeksvraag vindt wederom plaats in het hoofdstuk 'Samenvat¬ 
ting en conclusies’. Aan het eind van dit hoofdstuk wordt een kernachtig antwoord op de onder¬ 
zoeksvraag gegeven. 


5.1 Basisindicatoren voor de onderwijskwaliteit 

De scores op de vijf basisindicatoren voor onderwijskwaliteit zijn rechtstreeks ontleend aan het 
onderzoek Besturing en onderwijskwaliteit in het mbo (B+O). De indicatoren en de bijbehorende 
scoringssystematiek (zie bijlage 2) zijn bij de eindmeting ongewijzigd overgenomen met het oog 
op een zo betrouwbaar mogelijke vergelijking tussen de nulmeting en de eindmeting. 

In overzicht 5.1 zijn de gemiddelde scores op de vijf basisindicatoren in 2009 (nulmeting) verge¬ 
leken met die van 2012-2013 (eindmeting). De schaal voor deze scores loopt van 1 tot 5. 

Per indicator zijn er - vrij lichte - veranderingen waar te nemen, maar over de hele linie is de 
‘basiskwaliteit’ nagenoeg gelijk gebleven. Er is hiervoor geen eenduidige verklaring. De volgen¬ 
de factoren spelen vermoedelijk een rol: 
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- de operationalisering van deze basisindicatoren voor onderwijskwaliteit is zodanig dat ver¬ 
schillende instellingen in 2009 al bijna de maximale score hadden behaald en dus niet verder 
konden doorgroeien 15 ; 

- bij de eindmeting hadden de vervolgonderzoeken op de Staat van de Instelling in de meeste 
instellingen nog niet plaatsgevonden. De verbeteringen die de instellingen naar aanleiding 
van de Staat van de Instelling hebben doorgevoerd, zijn in de eindmeting daarom nog niet 
zichtbaar; 

- meerdere gesprekspartners hebben de indruk dat de inspectie bij de SVI gedetailleerder en 
‘strenger’ keek dan voorheen, met name wat betreft examinering. Dit zou de kans op een on¬ 
voldoende vergroten (overigens is de totaalscore voor examinering tussen 2009 en 2012- 
2013 licht gestegen); 

- in paragraaf 2.2.2 is er op gewezen dat enige voorzichtigheid is geboden bij het vergelijken 
van de situatie vóór en na 2012. In de organisatie en werkwijze van het toezicht hebben zich 
in 2012 veranderingen voorgedaan waarvan niet is uit te sluiten dat deze van invloed zijn op 
de score voor (een indicator van) onderwijskwaliteit. Specifiek voor de indicator wettelijke 
vereisten geldt dat deze vóór 2012 smaller is ingevuld (onderwijstijd) dan na 2012. 

Op basis van overzicht 5.1 kan worden gesteld dat er geen tekenen zijn dat de basiskwaliteit in 
de onderzochte instellingen tussen 2009 en 2012-2013 is toegenomen, met daarbij de kantte¬ 
kening dat 1) mogelijk sprake is van een na-ijleffect en 2) uit methodologische overwegingen 
voorzichtigheid geboden is bij het trekken van conclusies. 


Overzicht 5.1 - Gemiddelde score basisindicatoren onderwijskwaliteit: nulmeting en eindmeting 
(n = 20) 


Indicator 

gemiddelde score 
nulmeting 

gemiddelde score 
eindmeting 

theoretisch 

maximum 

Zwakke opleidingen 

3,7 

3,5 

5 

Zeer zwakke opleidingen 

4,5 

4,6 

5 

Examinering 

3,1 

3,3 

5 

Wettelijke vereisten 1 

4,1 

3,6 

5 

Opbrengsten 2 

3,0 

3,5 

5 

Totaal 

18,4 

18,5 

25 


1 Bij de nulmeting betrof het uitsluitend onderzoeken naar onderwijstijd 

2 Percentage studenten in opleidingen met voldoende opbrengst 


Verschillen tussen instellingen 

Op basis van de stand van de onderwijskwaliteit (basisindicatoren) in 2009 zijn de instellingen 
in drie klassen ingedeeld. Het is een indeling op basis van de relatieve scores van de instellin¬ 
gen: de instellingen met de laagste score worden gerekend tot de categorie ‘laag’, de instellin¬ 
gen met de hoogste score tot de categorie ‘hoog’ en de overige instellingen tot de categorie 
‘midden’. 


15 Dit is ook de overweging geweest om naast deze vijf indicatoren aanvullende indicatoren voor onderwijskwaliteit te 
hanteren (zie paragraaf 5.2) die wel 'doorgroeimogelijkheden' bieden. 
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Bij mbo-insteliingen, die in 2009 een relatief lage score behaalden voor de basisindicatoren 
voor onderwijskwaliteit, is enkele jaren later sprake van een stijging. Bij de mbo-insteliingen met 
een relatief hoge score op de basisindicatoren is juist een daling zichtbaar (overzicht 5.2). Dat 
wijst op de eerste plaats, net als eerder bleek t.a.v. de ontwikkeling van de kwaliteitsborging 
(paragraaf 4.2), op een inhaalslag van de 'zwakkere' instellingen. Bij de instellingen waar spra¬ 
ke is van een lagere score in de onderwijskwaliteit is geen patroon herkenbaar dat deze daling 
verklaart; er is niet één indicator die verantwoordelijk is voor deze daling. 


Overzicht 5.2 - Samenhang tussen de stand van de onderwijskwaliteit (basisindicatoren) in 
2009 (nulmeting) en de ontwikkeling van de ondenvijskwaliteit (verschil tussen 2012-2013 en 
2009) (n = 20) 


"^^-^Basïskwaliteit 2009 

Ontwikkeling ^ 

öasESkwaliteit 2012-2014 

laag 

midden 

hoog 

Totaal 

afgenomen 


4 

5 

9 

toegenomen 

4 

7 


11 

Totaal 

4 

11 

5 

20 


Het beeld uit overzicht 5.2 wordt bevestigd in overzicht 5.3. Instellingen met een relatief lage 
score voor de onderwijskwaliteit (basisindicatoren) in 2009 schuiven in de jaren daarna in de 
rangorde iets op, en bij instellingen die in 2009 hoog scoorden zien we het omgekeerde. Dat 
laatste lijkt spectaculairder dan het is, aangezien de verschillen in scores ‘aan de top' van de 
rangorde vrij klein zijn. 


Overzicht 5.3 - Samenhang tussen de score op de basisindicatoren voor onderwijskwaliteit bij 
de nulmeting en bij de eindmeting (n = 20) 


^^^^Basiskwalfteit nulmeting 

laag 

midden 

hoog 

Totaal 

Basiskwaliteit eindmeting 





laag 

2 

3 


5 

midden 

2 

4 

4 

10 

hoog 


4 

1 

5 

Totaal 

4 

11 

5 

20 
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5.2 Aanvullende indicatoren voor de onderwijskwaliteit 


Zoals eerder aangegeven, zijn naast de basisindicatoren uit de vorige paragraaf drie aanvullen¬ 
de indicatoren voor onderwijskwaliteit in de analyses betrokken: het JOB-cijfer (gemiddelde per 
instelling), het vsv-percentage en het jaarresultaat. 

In overzicht 5.4 zijn de gemiddelde scores voor 2009-2010 (nulmeting) en 2012-2013 (eindme- 
ting) met elkaar vergeleken. Bij elk van de drie indicatoren is sprake van een stijging. Dat geldt 
niet alleen voor de gemiddelde score, maar ook voor elk van de afzonderlijke mbo-instellingen. 
Bij geen enkele instelling is sprake van een lagere score op één of meer van de drie indicatoren 
(overzicht 5.5). Het vaakst is een toename te zien in het jaarresultaat. 


Overzicht 5.4 - Scores aanvullende indicatoren onderwijskwaliteit nulmeting en eindmeting 
(n-20) 


indicator 

gemiddelde score 

gemiddelde score 


nulmeting 

eindmeting 

JOB 

6,9 

7,1 

% vsv 

6,9% 

5,7% 

% jaarresultaat 

69,1% 

73,1% 


Overzicht 5.5 - Ontwikkeling van de score op de aanvullende indicatoren (2012-2013 t.o.v. 
2009-2010) (n = 20) 


Indicator 

JOB 

jaarresultaat 

vsv 

Verslechtering 

0 

0 

0 

geen verandering 

12 

3 

6 

Verbetering 

8 

17 

14 

Totaal 

20 

20 

20 


Als we niet - zoals in overzicht 5.5 - de indicatoren maar de instellingen als maatstaf nemen, 
zien we dat in de meeste (13) instellingen sprake is van een verbetering bij twee van de drie 
aanvullende indicatoren. Bij vier instellingen is de situatie bij één indicator verbeterd. Er zijn drie 
instellingen die bij alle aanvullende indicatoren een hogere score hebben. 

De 20 instellingen zijn, op basis van hun relatieve scores op de drie aanvullende indicatoren, 
zowel bij de nulmeting als bij de eindmeting ingedeeld in drie klassen: 

- laag (relatief lage score); 

- midden; 

- hoog (relatief hoge score). 

Op basis van deze klasse-indeling is in overzicht 5.6 de ranking van de instellingen bij de nul¬ 
meting en de eindmeting met elkaar vergeleken. Het verschijnsel dat aanvankelijk hoog scoren¬ 
de instellingen worden ‘ingehaald’ door andere - zoals bij de basisindicatoren, overzicht 5.3 - 
doet zich bij de aanvullende indicatoren maar beperkt voor (één mbo-instelling). 
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Overzicht 5.6- Samenhang tussen de scores voor aanvullende indicatoren onderwijskwaliteit bij 
de nulmeting en bij de eindmeting (n = 20) 


"^--^Aanvullende indicatoren 
nulmeting 

Aanvullende indicatoren^--^^ 
eindmeting 

laag 

midden 

hoog 

Totaal 

Laag 

3 



3 

midden 

2 

10 

1 

13 

Hoog 


1 

3 

4 

Totaal 

5 

11 

4 

20 


Overzicht 5.7 laat - als ‘opmaat’ voor paragraaf 5.3 waar de basisindicatoren en de aanvullende 
indicatoren worden samengevoegd tot één maat voor onderwijskwaliteit - zien of er een samen¬ 
hang bestaat tussen de ontwikkeling van de scores voor de basisindicatoren en de aanvullende 
indicatoren voor onderwijskwaliteit. Dit blijkt het geval. De instellingen waarbij de scores op de 
basisindicatoren zijn gestegen, laten op meer aanvullende indicatoren een toename zien dan de 
overige instellingen. 


Overzicht 5.7 - Samenhang tussen de ontwikkeling van de score voor basisindicatoren (2012- 
2013 t.o.v. 2009) en de ontwikkeling van de score voor aanvullende indicatoren voor onderwijs¬ 
kwaliteit (2012-2013 t.o.v. 2009-2010) (n = 20) 


^^^_Ontwikkeling basisindicatoren 

Ontwikkeling 
aanvullende indicatoren 

afgenomen 

toegenomen 

Totaal 

toename bij één indicator 

3 

1 

4 , 

toename bij twee indicatoren 

6 

7 

13 

toename bij drie indicatoren 


3 

3 

Totaal 

9 

11 

20 


5.3 Ontwikkeling van de onderwijskwaliteit 

Door de ontwikkelingen voor de basisindicatoren en de aanvullende indicatoren te combineren 
is een maat voor de ontwikkeling van de (totale) onderwijskwaliteit (2012-2013 t.o.v. 2009) 
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geconstrueerd. Op basis van deze maat zijn de instellingen ingedeeld in vijf klassen (zie para¬ 
graaf 3.3.2 voor de gevolgde werkwijze). Het resultaat van deze bewerkingen wordt getoond in 
overzicht 5.8. In ongeveer tweederde van de instellingen is de onderwijskwaliteit de afgelopen 
jaren gestegen. Bij drie instellingen is deze afgenomen. 


Overzicht 5.8 - Ontwikkeling van de onderwijskwaliteit (combinatie basisindicatoren en aanvul¬ 
lende indicatoren, 2012-2013 t.o.v. 2009) (n-20) 


Aantal % 


De onderwijskwaliteit is: 

sterk afgenomen 

afgenomen 

gelijk gebleven 

toegenomen 

sterk toegenomen 


0 0% 

3 15% 

4 20% 

5 25% 

8 40% 


Totaal 


20 100 % 


Overzicht 5.9 laat, net als eerdere overzichten (met name overzicht 5.2 en 5.3), een tendens tot 
‘nivellering’ zien wat betreft de ontwikkeling van de onderwijskwaliteit. De vier instellingen, die in 
de nulmeting het laagst scoorden, laten alle in de daaropvolgende jaren een verbetering zien. In 
de instellingen, die in 2009 al relatief hoog scoorden, is de onderwijskwaliteit overwegend gelijk 
gebleven. 


Overzicht 5.9 - Samenhang tussen de stand van de onderwijskwaliteit (basisindicatoren) in 
2009 en de ontwikkeling van de onderwijskwaliteit (basis- + aanvullende indicatoren, 2012-2013 
t.o.v. 2009) (n = 20) 


^^-^Basiskwaliteit nulmeting 

Ontwikkeling 

onderwijskwaliteit 

laag 

midden 

hoog 

Totaal 

afgenomen 


2 

1 

3 

gelijk gebleven 


1 

4 

5 

toegenomen 

4 

8 

1 

12 i 

Totaal 

4 

11 

5 

20 
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Kernpunt beantwoording onderzoeksvraag 

Als wordt gekeken naar de ontwikkelingen in de basisindicatoren voor onderwijskwaliteit, kan 
worden gesteld dat er geen tekenen zijn dat de basiskwaliteit in de onderzochte instellingen 
tussen 2009 en 2012-2013 is toegenomen. Als we kijken naar de drie aanvuilende indicato¬ 
ren , dan is onmiskenbaar sprake van een stijging. 

Met enige voorzichtigheid kan geconcludeerd worden dat de onderwijskwaliteit in de onder¬ 
zochte instellingen is gestegen, zij het niet bij alle instellingen. De stijging is duidelijk als on¬ 
derwijskwaliteit wordt geïnterpreteerd in termen van rendement en (studenten)tevredenheid, 
maar kan niet worden aangetoond in termen van (het voldoen aan eisen op het gebied van) 
onderwijsprocessen, examinering en wettelijke vereisten. 
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6 De relatie tussen kwaliteitsborging en onderwijskwaliteit 


In het Toezichtkader bve 2012 neemt de beoordeling van de kwaliteitsborging van de mbo- 
instellingen een prominente positie in. Dit is voor een belangrijk deel gebaseerd op de aanname 
dat instellingen die hun kwaliteitsborging op orde hebben, ook een hoger kwaliteitsniveau laten 
zien. Om deze reden wordt aan de samenhang tussen kwaliteitsborging en onderwijskwaliteit 
een afzonderlijk hoofdstuk gewijd. 

Uit dit onderzoek blijkt dat de door mbo-instellingen gepercipieerde relatie tussen kwaliteitsbor¬ 
ging en onderwijskwaliteit samenhangt met de ervaren bijdrage van het toezichtkader en het 
inspectietoezicht aan de onderwijskwaliteit. Daarom wordt ook dit thema in dit hoofdstuk be¬ 
handeld. 

In dit hoofdstuk worden twee onderzoeksvragen beantwoord: 

4. Is er is een positieve samenhang tussen kwaliteitsborging en onderwijskwaliteit? 

5. Heeft het inspectie-onderzoek in het kader van het Toezichtkader bve 2012 bijgedragen aan 
verbetering van de onderwijskwaliteit in instellingen? 

De relatie tussen kwaliteitsborging en onderwijskwaliteit wordt in dit hoofdstuk beschreven aan 
de hand van de uitkomsten van analyses op verzamelde data en op grond van de gesprekken 
die zijn gevoerd in de mbo-instellingen (paragraaf 6.1). De ervaren rol van het Toezichtkader 
bve 2012 en het inspectietoezicht komt aan bod in paragraaf 6.2. 

Voor de beantwoording van de onderzoeksvragen wordt verwezen naar het hoofdstuk 'Samen¬ 
vatting en conclusies 1 . In dit hoofdstuk wordt aan het eind van de subparagrafen wederom een 
kernachtig antwoord op de onderzoeksvragen geformuleerd. 


6.1 Samenhang kwaliteitsborging en onderwijskwaliteit 

Uitkomsten van analyses 

Op twee manieren is in de analyses nagegaan of er een verband bestaat tussen kwaliteitsbor¬ 
ging en onderwijskwaliteit: 

a. door een vergelijking van de stand van kwaliteitsborging en de onderwijskwaliteit bij de 
nulmeting (2009); 

b. door een vergelijking van de mate van ontwikkeling van de kwaliteitsborging en de onder¬ 
wijskwaliteit. 

Als de stand van de kwaliteitsborging en van de onderwijskwaliteit (basisindicatoren) in 2009 
tegen elkaar worden afgezet, zien we dat er een verband tussen beide bestaat (overzicht 6.1). 
Dit verband is vooral zichtbaar door het ontbreken van ‘extreme 1 scores: een relatief hoge stand 
van de kwaliteitsborging in 2009 gaat bij geen enkele instelling gepaard met een relatief lage 
stand van de onderwijskwaliteit en andersom. 

Er is echter geen sprake van een één-op-één relatie. Zo scoren niet alle instellingen met een 
hoge stand van kwaliteitsborging ook hoog op onderwijskwaliteit. Dit beeld is vergelijkbaar met 
het onderzoek Besturing en onderwijskwaliteit in het mbo (B+O). Ook in dat onderzoek werd 
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een verband tussen kwaliteitsborging en onderwijskwaliteit aangetoond, maar geen perfect 
verband. 


Overzicht 6.1 - Samenhang kwaliteitsborging en onderwijskwaliteit (basisindicatoren) in 2009 
(n=20) 


——^Kwaliteitsborging * 
Onderwijskwaliteit 

laag 

midden 

hoog 

Totaal 

laag 

2 

2 


4 

midden 

3 

5 

3 

11 

hoog 


3 

2 

5 

Totaal 

5 

10 

5 

20 


* De categorieën 'laag', 'midden' en 'hoog' verwijzen naar de kiasse-inctelingen die zijn beschreven in hoofdstuk 4 
(kwaliteitsborging) en hoofdstuk 5 (onderwijskwaliteit) en hebben betrekking op de relatieve scores van de instellin¬ 
gen. 


Als de ontwikkeling van de kwaliteitsborging en van de onderwijskwaliteit met elkaar wordt 
vergeleken (overzicht 6.2), blijkt dat het overall beeld hetzelfde is als bij overzicht 6.1: instellin¬ 
gen die in de periode 2009-2014 een relatief sterke ontwikkeling van de kwaliteitsborging door¬ 
maken (kolom ‘hoog’), laten in vergelijking met andere instellingen vaker ook een relatief sterke 
verbetering van de onderwijskwaliteit zien (rij 'hoog'). 


Overzicht 6.2 - Samenhang tussen de ontwikkeling van de kwaliteitsborging (2009-2014) en 
van de onderwijskwaliteit (2012-2013 to.v. 2009) (n = 20) 


Ontwikkeling 

"^^Jwvaliteitsborging 

Ontwikkeling 

Onderwijskwaliteit 

laag 

midden 

hoog 

Totaal 

Laag 

t 

1 

1 

3 

Midden 

3 

7 

3 

13 

Hoog 


2 

2 

4 

Totaal 

4 

10 

6 

20 


Bevindingen van de gesprekken in mbo-instellingen 

In ruim de helft van de mbo-instellingen wordt bevestigd dat er een positieve relatie bestaat 
tussen kwaliteitsborging en onderwijskwaliteit. De overige instellingen hebben hier twijfels bij of 
achten een dergelijke relatie niet aanwezig. Daarbij blijkt overigens dat onderwijskwaliteit geen 
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eenduidig begrip is. Als wordt gevraagd naar de relatie tussen kwaliteitsborging en onderwijs¬ 
kwaliteit, blijkt dat een deel van de informanten onderwijskwaliteit op de eerste plaats ziet in 
termen van rendement (jaarresultaat, vsv) en/of tevredenheidsscores (studenten, bedrijven, 
docenten). Een ongeveer even grote groep instellingen associeert onderwijskwaliteit in de 
eerste plaats met de kwaliteit van het primaire proces (‘echte kwaliteit’): de interactie tussen 
docent en leerling en daarmee samenhangend de kwaliteit van de docent. In mindere mate zijn 
onderwijsprocessen (incl. examinering) de eerste referentie bij het begrip onderwijskwaliteit. 


Overzicht 6.3- Antwoorden van mbo-instellingen op de vraag: is er een positieve relatie tussen 
kwaliteitsborging en onderwijskwaliteit (n=20) 



Aantal 

% 

ja 

11 

55% 

twijfel 

6 

30% 

nee 

3 

15% 


De toelichtingen op de relatie tussen kwaliteitsborging en onderwijskwaliteit laten een uiteenlo¬ 
pend beeld zien. Een deel van de informanten maakt een voorbehoud bij dit verband: de kwali¬ 
teitsborging heeft alleen invloed op de onderwijskwaliteit als dit geen papieren tijger is; het moet 
een middel zijn en geen doel. Anderen bevestigen de relatie, maar relativeren deze tegelijker¬ 
tijd: de kwaliteit van de docent achten zij doorslaggevend voor de onderwijskwaliteit. 
Argumenten voor een positieve relatie tussen kwaliteitsborging en onderwijskwaliteit zijn met 
name: 

- kwaliteitsborging geeft zicht op zwakke plekken/verbeterpunten in de organisatie en biedt 
daarmee de benodigde basis om onderwijskwaliteit te verbeteren; 

- in het verlengde hiervan: ook bij een hoge onderwijskwaliteit is kwaliteitsborging nodig, om 
deze kwaliteit te bewaken en bestendigen; 

- kwaliteitsborging brengt het gesprek op gang over kwaliteit en dat is een belangrijke stap 
richting kwaliteitsbewustzijn en (uiteindelijk) de verbetering van de onderwijskwaliteit. 


Overzicht 6.4 - Toelichting op het oordeel over de ervaren relatie tussen kwaliteitsborging en 
onderwijskwaliteit (meer antwoorden mogelijk , n=20) 

Aantal % 


positieve relatie kwaliteitsborging-onderwijskwaiiteit: 

mits geen papieren tijger, geen doel maar middel 6 30% 

kwaliteitsborging stimuleert reflectie op / gesprek over kwaliteit 4 20% 

zicht op zwakke plekken, bestendigen kwaliteit 4 20% 

beperkte invloed: kwaliteit docent is doorslaggevend 4 20% 

relatie is niet meetbaar, wel aanwezig 2 10% 

overig 2 10% 

twijfel/geen positieve relatie kwaliteitsborging-onderwijskwatiteit: 

kwaliteitsborging is papieren tijger, leidt tot bureaucratie 3 15% 

onderwijskwaliteit is goed, maar kwaliteitsborging als onvoldoende beoordeeld: dus geen 0/ 

relatie 

kwaliteitsborging kost veel tijd, maar wordt leerling er beter van? 3 15% 
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Mbo-instellingen die niet (zonder meer) een relatie tussen kwaliteitsborging en onderwijskwali¬ 
teit zien, voeren daarbij onder meer aan dat de ‘feiten dit weerspreken’: een hoge onderwijs¬ 
kwaliteit (o.b.v. rendement, tevredenheid stakeholders en/of het oordeel van de inspectie) gaat 
bij hen immers gepaard met een onvoldoende voor kwaliteitsborging. Ook zijn er bij sommige 
instellingen twijfels bij de baten van kwaliteitsborging voor de student of wordt gewezen op het 
bureaucratische karakter van de kwaliteitsborging. 


Kernpunt beantwoording onderzoeksvraag 

Zowel uit de data-analyses als uit de gevoerde gesprekken in de mbo-instellingen komt naar 
voren dat er een positieve relatie is tussen kwaliteitsborging en onderwijskwaliteit. Het onder¬ 
zoek laat tegelijkertijd zien dat geen sprake is van een één-op-één relatie tussen kwaliteits¬ 
borging en onderwijskwaliteit. Daarbij speelt mee dat het begrip onderwijskwaliteit multi- 
interpretabel is. 

Bij de relatie tussen kwaliteitsborging en onderwijskwaliteit speelt de tijdsdimensie een rol; de 
kwaliteitsborging kan vooruit lopen op de verbetering van de onderwijskwaliteit of, anders 
gezegd, de (verbetering van) de onderwijskwaliteit ijlt na. 


6.2 Rol van het toezichtkader en het inspectietoezicht 

In hoofdstuk 4 kwam naar voren dat een grote meerderheid van de bekostigde instellingen een 
positieve invloed van het Toezichtkader bve 2012 en het inspectietoezicht ervaart op de ontwik¬ 
keling van de kwaliteitsborging. Uit overzicht 6.5 blijkt dat ook ten aanzien van de bijdrage aan 
de onderwijskwaliteit de balans positief uitvalt, maar het beeld is veel minder uitgesproken. 
Bijna de helft van de instellingen ervaart een positieve bijdrage van de inspectie aan de ontwik¬ 
keling van de onderwijskwaliteit. Daar tegenover staan vijf instellingen die deze bijdrage niet 
ervaren en twee instellingen die aangegeven dat sprake is geweest van een negatieve invloed. 
In vier instellingen werd aangegeven dat deze vraag niet goed kan worden beantwoord. On¬ 
derwijskwaliteit wordt in deze instellingen benaderd in termen van het primaire proces en of het 
inspectietoezicht hierop (indirect) van invloed is, is voor de gesprekspartners in deze instellin¬ 
gen een open vraag. 


Overzicht 6.5- Ervaren invloed van het toezichtkader en het inspectietoezicht op de ontwikke¬ 
ling van de onderwijskwaliteit in de instelling (n-20) 



Aantal 

% 

positieve invloed 

9 

45% 

geen invloed 

5 

25% 

negatieve invloed 

2 

10% 

geen mening 

4 

20% 


Uit de toelichtingen in overzicht 6.6 is op te maken dat de gepercipieerde relatie tussen kwali¬ 
teitsborging en onderwijskwaliteit een belangrijke rol speelt bij de ervaren bijdragen van de 
inspectie aan de onderwijskwaliteit. Bij instellingen, die deze relatie duidelijk waarnemen, ligt de 
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ervaren bijdrage van het inspectietoezicht aan de onderwijskwaliteit in het verlengde van de 
bijdrage aan de kwaliteitsborging. Het meest genoemde argument is dat het inspectietoezicht 
(Staat van de Instelling) heeft geholpen het gesprek over kwaliteit in de instelling te voeren. De 
overtuiging is dat dit een positief effect zal hebben op de onderwijskwaliteit. 

In drie instellingen wordt verwezen naar concrete maatregelen in de onderwijsprocessen en met 
name de examinering die zijn doorgevoerd naar aanleiding van de SVI. Tegen de achtergrond 
van het feit dat in aanzienlijk meer instellingen naar aanleiding van de SVI verbeteringen in 
onderwijsprocessen en examinering zijn doorgevoerd, lijkt dit aantal van drie aan de lage kant. 
Hierbij speelt een rol dat verbeteringen in de onderwijsprocessen en examinering bij veel ge¬ 
sprekspartners niet de eerste referentie zijn bij het begrip ‘onderwijskwaliteit’. Dat is veeleer de 
kwaliteit van het primaire proces, het rendement en/of de tevredenheid van stakeholders. Op 
deze aspecten ervaren de instellingen in het algemeen (nog) geen of weinig invloed van het 
inspectietoezicht. Ook gaat het bij het verbeteren van de onderwijsprocessen en examinering in 
de optiek van instellingen soms om kleine aanpassingen die geen groot effect hebben op de 
onderwijskwaliteit. 


Overzicht 6.6 — Toelichting op de ervaren invloed van het Toezichtkader bve 2012 en het in¬ 
spectietoezicht op de ontwikkeling van de onderwijskwaliteit in de instelling (meer antwoorden 
mogelijk, n=20) 


Aantal % 


Toelichting positieve invloed toezichtkader/inspectietoezicht: 
toezicht stimuleert kwaliteitsbewustzijn / gesprek over kwaliteit, dit leidt 


tot verbetering 

doorgevoerde verbeteringen (m.n. examinering) 3 

zicht op kwaliteit leidt tot verbetering 2 

beperkte invloed: kwaliteit docent is doorslaggevend 2 

relatie is niet meetbaar, wel aanwezig 1 


Toelichting geen invloed toezichtkader/inspectietoezicht: 

inspectie stimuleert wel kwaliteitsborging, maar niet de onderwijskwaliteit (geen relatie tussen 
beide) 

werkwijze inspectie stimuleert niet de onderwijskwaliteit 3 

Toelichting negatieve invloed toezichtkader/inspectietoezicht: 

geen baten voor onderwijskwaliteit, tijd kan niet besteed aan primair proces/leerling _2 


20 % 

15 % 

10 % 

10 % 

5% 


15% 

15 % 


10 % 


De instellingen, die van mening zijn dat het inspectietoezicht geen invloed heeft op de onder¬ 
wijskwaliteit, hebben twijfels bij de relatie tussen kwaliteitsborging en onderwijskwaliteit of ge¬ 
ven aan dat de werkwijze van de inspectie niet leidt tot een hogere kwaliteit. In dit verband 
wordt gewezen op de in hun ogen te sterke nadruk die de inspectie legt op (het vastleggen van) 
procedurele randvoorwaarden (zie hoofdstuk 7). 

Twee instellingen zien geen baten van het inspectietoezicht voor de onderwijskwaliteit, de 
student wordt er volgens hen niet beter van. Omdat het inspectie-onderzoek veel tijd en energie 
kost, die niet aan het primaire proces c.q. de student kan worden besteed, trekken zij de con¬ 
clusie dat het inspectietoezicht eerder een negatieve invloed op de onderwijskwaliteit heeft. 
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Kernpunt beantwoording onderzoeksvraag 

De vraag naar de bijdrage van het inspectie-onderzoek aan de verbetering van de onderwijs¬ 
kwaliteit kan voorzichtig positief worden beantwoord. De gesprekken in de mbo-instellingen 
leveren een gemengd beeld op; niet alle instellingen hebben een duidelijke mening over de 
bijdrage van het inspectietoezicht aan de verbetering van de onderwijskwaliteit. Van de instel¬ 
lingen die hierover wel een mening hebben, is meer dan de helft overtuigd van de positieve 
bijdrage van het inspectietoezicht. 
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7 Ontwikkeling van de toezichtbelasting 


Dit hoofdstuk staat in het teken van de belasting voor instellingen die met het inspectietoezicht 
gepaard gaat. De volgende onderzoeksvragen staan centraal: 

6. Is de toezichtbelasting voor de mbo-instellingen is in 2012-2014 lager dan in de periode 
2009-2011? 

7. Is er een verband tussen (een relatief hoge stand van) de kwaliteitsborging en (een relatief 
lage) toezichtbelasting in de instellingen? 

In dit hoofdstuk wordt toezichtbelasting in ‘smalle’ zin (tijdsinvestering) en in ruimere zin geïn¬ 
terpreteerd (zie paragraaf 7.1). De informatie over de ervaren toezichtbelasting is afkomstig uit 
de gesprekken in de mbo-instellingen. Voor de toezichtbelasting in termen van tijdsinvestering 
zijn daarnaast analyses uitgevoerd op databestanden (aantal afgelegde bezoeken) van de 
inspectie. 

Paragraaf 7.2 gaat over het aspect van de proportionaliteit van het toezicht. 

Voor de beantwoording van de onderzoeksvragen wordt verwezen naar het hoofdstuk 'Samen¬ 
vatting en conclusies’. In dit hoofdstuk wordt aan het eind van de subparagrafen wederom een 
kernachtig antwoord op de onderzoeksvragen geformuleerd. 


7.1 Toezichtbelasting 

7.1.1 Ervaren toezichtbelasting 

De Staat van de Instelling is een omvattend onderzoek en zo wordt dit in de instellingen ook 
ervaren; zonder uitzondering wordt aangegeven dat de SVI intensief en tijdrovend was. Of deze 
toezichtbelasting in het kader van de SVI (2012-2014) hoger of lager is dan in de periode 2009- 
2011 (waarin sprake was van losse en in de tijd gespreide inspectie-onderzoeken) vonden veel 
gesprekspartners veel moeilijker aan te geven. Overzicht 7.1 laat zien dat dit in het bijzonder 
geldt voor de toezichtbelasting in termen van de tijdsinvestering. Daarbij speelt bij veel instellin¬ 
gen mee dat vervolgonderzoek(en) naar aanleiding van de uitkomsten van de SVI nog moesten 
plaatsvinden. 
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Overzicht 7.1 - Ervaren toezichtbelasting 2012-2014 in vergelijking met voorgaande periode 
(n=20) 



Aantal 

% 

toezichtbelasting in termen van tijdsinvestering: 
toezichtbelasting in 2012-2014 hoger dan voorheen 

2 

10% 

(nog) moeilijk om te vergelijken 

13 

65% 

toezichtbelasting in 2012-2014 lager dan voorheen 

5 

25% 

toezichtbelasting in ruime zin: 

toezichtbelasting in 2012-2014 hoger dan voorheen 

0 

0% 

(nog) moeilijk om te vergelijken 

10 

50% 

toezichtbelasting in 2012-2014 lager dan voorheen 

10 

50% 

voorkeur voor organisatie toezicht: 2012-2014 of 2009-2011 
voorkeur voor 2012-2014 

13 

65% 

geen voorkeur 

7 

35% 

voorkeur voor 2009-2011 

0 

0% 


Bij de instellingen, die zich wel uitlieten over de toezichtbelasting vóór en na 2012, valt de ba¬ 
lans in het algemeen gunstig uit voor de periode 2012-2014: de toezichtbelasting is lager en de 
SVI heeft ook om andere redenen de voorkeur. Overzicht 7.2 licht dit nader toe. Bepalend voor 
de voorkeur voor de SVI is niet in de eerste plaats de (lagere) tijdsbelasting, maar veeleer de 
(mentale) rust die gepaard gaat met het driejaarlijks karakter van de SVI en het integrale ka¬ 
rakter van dit onderzoek (het integreren van onderzoek naar kwaliteitsborging, onderwijspro¬ 
cessen en examinering). Dit levert de instelling een compleet en samenhangend beeld op, past 
beter bij de integrale benadering van kwaliteit die instellingen nastreven en geeft meer aankno¬ 
pingspunten om het kwaliteitsbewustzijn in de organisatie te versterken. 


Overzicht 7.2 - Toelichting op ervaren toezichtbelasting (meer antwoorden mogelijk, n=20) 



Aantal 

% 

toezichtbelasting lager / voorkeur voor toezicht 2012-2014: 
een keer per 3 jaar onderzoek geeft rust 

12 

60% 

SVI geeft integraal beeld 

9 

45% 

SVI simuleert kwaliteitsborging / kwaliteitsbewustzijn 

4 

20% 

toezichtbelasting niet lager/geen voorkeur voor toezicht 2012-2014: 
alwachten hoe vervolgonderzoek uitpakt 

3 

15% 

werkwijze inspectie leidt tot grote belasting 

3 

15% 

als kleine instelling onevenredig belast 

2 

10% 

overig 

2 

10% 


7.1.2 Aantal inspectie-onderzoeken 

Op basis van beschikbare data over het aantal inspectiebezoeken in de periode 2009-2014 is 
een geobjectiveerde indicator voor de tijdsinvestering geconstrueerd. De uitkomst van analyses 
op deze data is dat in alle 20 bekostigde instellingen de toezichtbelasting in termen van tijdsin¬ 
vestering is afgenomen. Op één instelling na betreft het een forse afname; gemiddeld bedraagt 
deze 48%. Hoewel door imperfecties in de vergelijking tussen 2009-2011 en 2012-2014 deze 
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percentages niet als absoluut kunnen worden beschouwd (zie paragraaf 3.3.3), ondersteunen 
deze uitkomsten wel de teneur van de bevindingen in de mbo-instellingen. 

Op grond van de mate waarin de - aan de hand van het aantal inspectiebezoeken berekende - 
tijdsinvestering is afgenomen, zijn de mbo-instellingen verdeeld in drie klassen. 

Overzicht 7.3 - Klasse-indeling o.b.v. van de mate waarin de tijdsinvestering voor het inspectie¬ 
toezicht is afgenomen (bron: data over het aantal inspectiebezoeken, n-20) 



Aantal 

% 

relatief geringe afname 

5 

25% 

midden 

10 

50% 

relatief sterke afname 

5 

25% 


7.1.3 Ervaringen met de werkwijze van de inspectie 

In de beginmeting van het onderzoek (over de periode 2009-2011) werd de toezichtbelasting 
die de instellingen ondervonden voor een belangrijk deel bepaald door de ervaringen met de 
werkwijze van de inspectie. Deze ervaringen waren in veel instellingen overwegend negatief. 
De onderzoeken naar onderwijstijd sprongen er duidelijk in negatieve zin uit, maar ook meer in 
het algemeen werd aangegeven dat inspecteurs vanuit een basishouding van wantrouwen 
vooral speurden naar fouten. Daarnaast waren veel gesprekspartners in de instellingen van 
mening dat verschillen tussen inspecteurs groot waren en invloed hadden op het verloop van en 
de beoordeling bij de onderzoeken. 

In deze paragraaf wordt ingegaan op de ervaringen met het toezicht in 2012-2014, in het bij¬ 
zonder met de Staat van de Instelling. We maken daarbij onderscheid tussen het verloop van 
de SVI en de beoordeling door de inspectie. 

Verloop SVI 

Een grote meerderheid van de instellingen is erg te spreken over het verloop van de SVI. In 
vergelijking met eerdere onderzoeken zien de gesprekspartners duidelijk verbeteringen in de 
uitvoering van het onderzoek; verschillende gesprekspartners gaven aan in dit opzicht 'aange¬ 
naam verrast’ te zijn. In twee instellingen is men minder uitgesproken in het oordeel over het 
verloop van de SVI en in een instelling is men hierover overwegend negatief; incidenten in 
sommige gesprekken speelden hierbij een rol. 


Overzicht 7.4 - Oordeel van mbo-instellingen over het verloop van de SVI (n-20) 



Aantal 

% 

oven/vegend positief 

17 

85% 

neutraal 

2 

10% 

overwegend negatief 

1 

5% 


Overzicht 7.5 geeft zicht op de redenen voor het overwegend positieve oordeel van instellingen. 
Het meest in het oog springend is de goede sfeer tijdens het onderzoek: de gesprekken verlie¬ 
pen over het algemeen plezierig en de inspectie toonde zich respectvol naar alle geledingen in 
de organisatie. Ook werd relatief vaak naar voren gebracht dat de inspecteurs kennis van zaken 
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hadden, zich goed hadden voorbereid en in de gesprekken de goede vragen stelden en de 
vinger op de zere plek wisten te leggen. Dit achten de instellingen van belang, omdat het ‘ge¬ 
zag’ van uitspraken en oordelen van de inspectie voor de instelling toeneemt naarmate de 
inspecteurs meer kennis van zaken hebben. Met name voor de onderzoeksleider van de in¬ 
spectie hebben de gesprekspartners in dit opzicht lovende woorden; dit geldt ook in procesma¬ 
tige zin (met name het oplossen van incidenten tijdens het onderzoek). 

Andere relatief vaak genoemde positieve aspecten zijn: de ruimte in de gesprekken om het 
verhaal kwijt te kunnen en dialoog te voeren, de transparantie van de inspectie tijdens het on¬ 
derzoek (o.a. in de vorm van terugkoppelgesprekken) en de flexibele opstelling van de inspectie 
waar het de planning en organisatie van het onderzoek betreft. 

Overzicht 7.5 - Toelichting op het oordeel van mbo-instellingen over het verloop van de SVI - 
kritiekpunten (meer antwoorden mogelijk, n=20) 



Aantal 

% 

positieve aspecten: 

goede sfeer, plezierige gesprekken, respectvol in de omgang, afstemming met instelling 

16 

80% 

kennis van zaken, goed voorbereid 

7 

35% 

openheid, ruimte voor gesprek/dialoog 

6 

30% 

flexibiliteit wat betreft planning en organisatie 

5 

25% 

communicatie 

5 

25% 

kritisch, vinger op zere plek, goede vragen 

4 

20% 

terugkoppeling tijdens onderzoek, transparantie 

4 

20% 

meer meedenken, minder afvinken 

3 

15% 

overig 

3 

15% 

negatieve aspecten: 

verschillen tussen inspecteurs 

3 

15% 

te gedetailleerd 

3 

15% 

onplezierige gesprekken 

2 

10% 

onzorgvuldigheden (o.a. te laat komen) 

2 

10% 

wantrouwen/speuren naar fouten 

2 

10% 

overig 

2 

10% 


Beoordeling SVI 

De meeste instellingen hebben kritiek op de beoordeling bij de SVI. In het algemeen worden de 
tekortkomingen die de inspectie signaleert wel herkend (In elk geval als verbeterpunt), maar er 
zijn veel opmerkingen gemaakt over de wijze van beoordelen en deels ook op het oordeel als 
zodanig. Overall is bijna de helft van de instellingen overwegend negatief over de boordeling bij 
de SVI. 


Overzicht 7.6-Oordeel van mbo-instellingen over de beoordeling bij de SVI (n=20) 



Aantal 

% 

overwegend positief 

4 

20% 

neutraal 

7 

35% 

overwegend negatief 

9 

55% 
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Het meest genoemde bezwaar is dat de inspectie te zeer gericht is op bewijsvoering aan de 
hand van documenten, wat de kwaliteitsborging in de optiek van instellingen onnodig bureau¬ 
cratisch maakt. Het werkt in de hand dat instellingen zelf meer accent leggen op het vastleggen 
en documenteren dan hen eigenlijk lief is; zij geven aan meer ontwikkelingsgericht aan de 
kwaliteit te willen werken. Zeker nu het kwaliteitsborgingssysteem min of meer ‘af is, zou daar 
nu het zwaartepunt moeten liggen. Dat de kwaliteitsborging aantoonbaar moet zijn wordt in de 
instellingen niet bestreden, maar zij geven aan dat ook op andere manieren zou moeten kunnen 
dan door het gedetailleerd vastleggen en documenteren. Verschillende gesprekspartners dra¬ 
gen alternatieven aan. De meest voorkomende redenering daarbij is: de inspectie kijkt nu ook of 
de informatie van verschillende partijen in de organisatie consistent is, bezoekt ook lessen om 
te ‘proeven’ van de praktijk etc. Door daar meer accent op te leggen kan de bewijsvoering via 
documenten volgens gesprekspartners in het toezicht minder zwaar worden aangezet. 

Overzicht 7.7 - Toelichting bij het oordeel van mbo-instellingen over de beoordeling bij de SVI 
(meer antwoorden mogelijk , n-20) 



Aantal 

% 

positieve aspecten: 

rekening met context 

4 

20% 

oordeel op basis van praktijk, niet alleen papier 

2 

10% 

negatieve aspecten: 

te zwaar accent op vastleggen 

14 

70% 

beoordelingssystematiek (onevenredig) 

12 

60% 

normering/cesuur onduidelijk 

10 

50% 

onvoldoende rekening met context 

9 

45% 

tekortkomingen in presentatie van / communicatie over uitkomsten 

7 

35% 

onvoldoende aansluiting bij organisatie- en/of onderwijsmodel 

5 

25% 

verschuivende normen (m.n. examinering) 

4 

20% 

verschillen tussen inspecteurs 

2 

10% 

overig 

6 

30% 


Ook over de beoordelingsystematiek zijn de instellingen kritisch: die is volgens hen zodanig dat 
kleine fouten grote gevolgen hebben. In die systematiek kan een tekortkoming bij een indicator 
(het laagste beoordelingsniveau) leiden tot een onvoldoende voor een aspect en, als dit een 
kernaspect betreft, tot een onvoldoende voor het hele kwaliteitsgebied (bijvoorbeeld: examine¬ 
ring). 

Voor veel gesprekspartners is de normering bij de beoordeling onvoldoende duidelijk: wanneer 
is een situatie ‘voldoende?’. Dit speelt zowel ten aanzien van het oordeel op opleidingsniveau 
als wat betreft het oordeel over de kwaliteitsborging voor de instelling als geheel. Een deel van 
de instellingen, waarvan de kwaliteitsborging als onvoldoende is beoordeeld, vraagt zich af 
waar nu het verschil zit met andere instellingen die wel een voldoende hebben gekregen in een 
volgens hen vergelijkbare situatie. De ‘vergelijkbare situatie’ is daarbij te duiden als: 1) het 
kwaliteitsborgingssysteem ‘staat’, 2) de werking in de praktijk, met name op teamniveau, is nog 
voor verbeterring vatbaar en 3) de instelling weet waar de zwakke plekken en werkt daar aan. 
Naast de vraag naar de normering geeft een deel van de instellingen ook aan dat de inspectie 
bij haar oordeel onvoldoende rekening heeft gehouden met de ontwikkelingen die de kwaliteits¬ 
borging heeft doorgemaakt en de fase waarin de instelling nu verkeert: de inspectie kijkt alleen 
naar de ‘foto’ en te weinig naar de ‘film’. 


61 



De opmerkingen over de presentatie en communicatie van de uitkomsten zijn erg uiteenlopend 
en hebben betrekking op de rapportage (verschil in toonzetting tussen de terugkoppelingsge- 
sprekken en de rapportage), de presentatie op de website van de inspectie (het duurt soms 
lang voordat een ‘zwak’ is verwijderd) en het onderwijsverslag (over de ontwikkelingen in kwali¬ 
teitsborging en onderwijskwaliteit: ‘het glas is bij de inspectie altijd half leeg’). 

In vijf instellingen is naar voren gebracht dat het inspectietoezicht onvoldoende aansluit bij het 
organisatiemodel, de sturingsfilosofie en/of het onderwijsmodel van de instelling. 

Veel gesprekspartners hebben de indruk dat examinering, en dan met name de rol van de 
examencommissie bij borging van de examinering (in de bpv), bij de Staat van de Instelling 
onder een vergrootlas lag, met een groot aantal onvoldoende als gevolg. In vier instellingen 
wordt daar aan toegevoegd dat bij examinering ‘ verschuivende normen ’ worden ervaren, in die 
zin dat examens die in eerder stadium zijn goedgekeurd nu onvoldoende worden bevonden. 

Bij de Staat van de Instelling namen de instellingen ten slotte verschillen tussen afzonderlijke 
inspecteurs en tussen inspectieduo’s waar. Dit wordt echter duidelijk minder geproblematiseerd 
dan in de periode 2009-2011. Door de onderlinge afstemming van inspecteurs tijdens het on¬ 
derzoeksproces werken de verschillen nu veel minder door in het uiteindelijke oordeel. Twee 
instellingen hebben ondanks de onderlinge afstemming de indruk dat de verschillen tussen 
inspecteurs nog van invloed zijn op het oordeel. 

Verschillen tussen gesprekspartners 

Bij de beginmeting van het onderzoek, die betrekking had op de situatie vóór 2012, werden bij 
ongeveer de helft van de instellingen verschillen opgetekend tussen het oordeel van College 
van Bestuur en de vertegenwoordigers van het middenkader over de werkwijze van de inspec¬ 
tie. Bij zeven instellingen was College van Bestuur positiever over de werkwijze dan het mid¬ 
denkader, bij drie instellingen was het CvB juist kritischer. Het positieve oordeel van het CvB 
had bij enkele instellingen ook een ‘strategische’ component: het CvB had er alle belang bij om 
kwaliteitszorg in de organisatie te implementeren en het toezicht van de inspectie kwam hen 
goed van pas om het belang ervan ‘op de werkvloer’ te onderstrepen. 

Bij de eindmeting van het onderzoek is in veel mindere mate sprake van verschillen tussen de 
gesprekspartners, namelijk bij vijf instellingen. In drie instellingen zijn de vertegenwoordigers 
van het middenkader kritischer over de werkwijze van de inspectie dan het CvB, bij twee instel¬ 
lingen is juist het CvB kritischer. De verschilpunten hebben in ongeveer gelijke mate betrekking 
op het verloop van de Staat van de Instelling en op de wijze van beoordelen door de inspectie 
Er is bij deze verschillen geen patroon te herkennen in de punten waarop de kritiek is gericht. 
De verschillen tussen CvB en middenkader in deze vijf instellingen lijken vooral ingegeven 
doordat de ervaringen van de vertegenwoordigers van het middenkader sterker worden ge¬ 
kleurd door de specifieke ervaringen (verloop, beoordeling) bij de opleiding waaraan zij leiding 
geven. 
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Kernpunt beantwoording onderzoeksvraag 

Op grond van analyse van data over de inspectiebezoeken en op grond van de bevindingen 
in de mbo-instellingen kan geconcludeerd worden dat de toezichtbelasting voor instellingen in 
2012-2014 lager is dan in 2009-2011. Wat betreft de toezichtbelasting in termen van de tijds¬ 
investering die met de inspectie-onderzoeken gepaard gaat, houden de meeste instellingen 
nog een slag om de arm, aangezien de vervolgonderzoeken van de Staat van de Instelling 
ten tijde van het onderzoek veelal nog niet hadden plaatsgevonden. 

Bijna alle instellingen zijn in relatie tot de werkwijze van de inspectie positief over het verloop 
van de SVI, waarbij de plezierig verlopen gesprekken en contacten het meest als pluspunt 
worden genoemd. 

Daar tegenover staat dat veel instellingen kritiek hebben op de beoordeling bij de SVI. Het 
meest genoemde bezwaar is dat de inspectie te zeer gericht is op bewijsvoering aan de hand 
van documenten, wat de kwaliteitsborging in de optiek van instellingen onnodig bureaucra¬ 
tisch maakt. Ook over de beoordelingsystematiek zijn de instellingen kritisch: die is volgens 
hen zodanig dat kleine fouten grote gevolgen hebben, en de normering bij de beoordeling 
achten veel instelling onvoldoende duidelijk (wanneer is een situatie ‘voldoende?’). 


7.2 Proportioneel toezicht 

In het kader van de Staat van de Instelling wordt een vervolgonderzoek ingesteld als de inspec¬ 
tie oordeelt dat de kwaliteitsborging in de instelling onvoldoende is. Hetzelfde geldt voor de 
onderwijsprocessen, examinering, kwaliteitsborging en naleving van wettelijke vereisten op 
opleidingsniveau. Bij een oordeel ‘voldoende’ blijft een vervolgonderzoek achterwege. In die zin 
ligt in de systematiek van het inspectietoezicht een vorm van proportionaliteit besloten. 

Of ook de ervaren toezichtbelasting samenhangt met het niveau van de kwaliteitsborging is in 
het onderzoek moeilijk vast te stellen. De omvang van de SVI zelf is niet gerelateerd aan de 
stand van de kwaliteitsborging of onderwijskwaliteit 16 . Alle instellingen, ongeacht de stand van 
de kwaliteitsborging, geven aan dat de Staat van de Instelling een omvangrijk en intensief on¬ 
derzoek is geweest. 

Wel zijn er indicaties van een verband tussen kwaliteitsborging en ervaren toezichtbelasting. Bij 
acht van de tien instellingen die aangeven dat de toezichtbelasting is afgenomen (zie overzicht 
7.1) is de kwaliteitsborging bij de SVI als voldoende beoordeeld. Dat is een groter aandeel dan 
bij de overige instellingen (4 van de 10 voldoende). Ook wordt door enkele instellingen aange¬ 
geven dat met name de voorbereiding op de SVI intensief was, omdat in ‘administratieve’ zin 
(o.a. toegankelijkheid van documenten) de borging niet goed op orde was. De verwachting bij 
veel instellingen is ook dat de voorbereiding op de SVI bij een volgende gelegenheid minder 
tijdrovend zal zijn. 

Er zijn drie instellingen die de toezichtlast niet proportioneel vinden in verband met de omvang 
van de instelling (twee maal genoemd, zie overzicht 7.2) of in verband met de hoge onderwijs¬ 
kwaliteit die de instelling levert. 


16 De omvang van de SVI (in de vorm van het aantal onderzochte opleidingen) is wel afhankelijk van de grootte van de 
instelling. 
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Kernpunt beantwoording onderzoeksvraag 

Omdat alle Instellingen - ongeacht de stand van de kwaliteitsborging - aangeven dat de Staat 
van de Instelling een omvangrijk en intensief onderzoek is geweest, is het moeilijk om vast te 
stellen of er een verband is tussen de stand van de kwaliteitsborging en de ervaren toezicht- 
belasting. Indicaties hiervoor zijn er wel. Bij instellingen die aangeven dat de toezichtbelasting 
is afgenomen is de kwaliteitsborging bij de SVI vaker als voldoende beoordeeld dan bij de 
overige Instellingen. 
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8 De niet bekostigde instellingen 


Aan het onderzoek hebben 4 niet bekostigde instellingen (NBI’s) deelgenomen, waaronder één 
instelling voor afstandsonderwijs. Net als bij 20 bekostigde instellingen zijn bij deze NBI’s drie 
metingen uitgevoerd waarin gesprekken zijn gevoerd over de centrale onderzoeksthema’s: 
kwaliteitsborging, onderwijskwaliteit en toezichtbelasting. Aanvullende gegevens over de NBI’s 
zijn schaars, ook in vergelijking met de bekostigde instellingen. De NBI’s zijn niet betrokken in 
het onderzoek B+O en er zijn weinig registratiegegevens over de onderwijskwaliteit. De infor¬ 
matie in dit hoofdstuk is daarom grotendeels ontleend aan de gesprekken die in de NBI’s zijn 
gevoerd. 

In paragraaf 8.1 wordt ingegaan op de ontwikkelingen in de kwaliteitsborging bij de NBI’s. Para¬ 
graaf 8.2 is gewijd aan de onderwijskwaliteit en paragraaf 8.3 aan de toezichtbelasting 


8.1 Kwaliteitsborging 

Ontwikkelingen in de kwatiteitsborging in de periode 2009-2014 

De vier in dit evaluatieonderzoek betrokken niet-bekostigde instellingen werken al sinds een 
aantal jaren op een planmatige wijze, in die zin dat al geruime tijd sprake is van meerjarenplan¬ 
nen en jaarplannen. Van een samenhangend kwaliteitszorgsysteem was bij de nulmeting 
(2009) nog geen sprake, al waren er wel elementen van aanwezig (naast de plannen ook tevre- 
denheidsmetingen). Van oudsher lag in de niet bekostigde instellingen, en ook in het inspectie¬ 
toezicht, een accent op de examinering. 

In de periode 2009-2011 is, net als in de bekostigde instellingen, geanticipeerd op de komst van 
het Toezichtkader bve 2012, door het op- en uitbouwen van een PDCA-cyclus. Dit proces heeft 
zich in de jaren daarna voortgezet. 

In 2013 en 2014 zijn bij twee instellingen weinig ontwikkelingen op het gebied van kwaliteitsbor¬ 
ging te melden vanwege vergaande veranderingen in de organisatiestructuur resp. de slechte 
marksituatie van het bedrijf. In de derde instelling vloeien de ontwikkelingen in de kwaliteitsbor¬ 
ging rechtstreeks voort uit het verbeterplan dat naar aanleiding van de Staat van de Instelling is 
opgesteld en goedgekeurd. In de vierde instelling is net als in voorgaande jaren stapsgewijs 
verder gewerkt aan de kwaliteitsborging. 

Als wordt gekeken naar de ontwikkelingen in de periode 2009-2014 per indicator van kwaliteits¬ 
borging, dan blijken in alle instellingen verbeteringen te zijn doorgevoerd op het gebied van 
evaluatie (audits en zelfevaluaties). Voor de overige indicatoren variëren de ontwikkelingen per 
instelling. De belangrijkste ontwikkelingen in de periode 2009-2014 zijn: 

Planning 

De PDCA-cyclus is opgebouwd en aangevuld. Nu ligt het accent op het bewust hanteren ervan. 
Daartoe is in een instelling een kwaliteitsagenda opgesteld waarin staat ‘wie wat wanneer’ moet 
doen. 
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Informatie 

De informatievoorziening is de afgelopen jaren beter gestroomlijnd en beter ingebed in de kwali- 
teitszorgcyclus, bijvoorbeeld door managementinformatie strakker te koppelen aan de zelfeva¬ 
luatie. Kwaliteitszorgmedewerkers spelen een belangrijke rol bij het aanleveren van gegevens. 
In één instelling wordt aangegeven dat er behoefte is aan een dashboard; nu worden nog voor¬ 
al handmatig de benodigde gegevens gegenereerd. 

Monitoring 

Op het gebied van monitoring (bijvoorbeeld enquêtes onder bedrijven en studenten) hadden de 
instellingen in 2009 al instrumenten ontwikkeld. In de afgelopen jaren zijn met name kleinere 
verbeteringen doorgevoerd, zoals het schriftelijk (in plaats van telefonisch) peilen van de tevre¬ 
denheid van leerbedrijven en het verhogen van de respons op de tevredenheidsmetingen. 

Evaluatie en verbetering 

Zoals hierboven aangegeven, zijn in alle vier NBI’s zelfevaluaties en (interne en/of externe) 
geïntroduceerd of, waar deze al bestonden, meer gestructureerd uitgevoerd. De externe be¬ 
trokkenheid bij de audits is vergroot. Andere ontwikkelingen zijn: het uitvoeren van thematische 
audits en de strakkere koppeling van zelfevaluaties en verbeter- c.q. actieplannen. 

Verankering 

De gemelde activiteiten in verband met de verankering van de kwaliteitsborging zijn uiteenlo¬ 
pend van aard. In twee instellingen is de samenstelling van de examencommissie aangepast 
(meer externe betrokkenheid), de onafhankelijkheid van deze commissie is beter gezekerd en 
de rol van de examencommissie is versterkt. Deze activiteiten zijn mede door toedoen van de 
Staat van de Instelling uitgevoerd als onderdeel van meer omvattende acties ter verbetering 
van de examinering. 

Voorts wordt in twee instellingen gewezen op de handboeken voor onderwijs en examinering 
die recentelijk zijn ontwikkeld. Bij één instelling is in 2012 voor het eerst een kwaliteitszorgme- 
dewerker aangesteld. 

Het stimuleren van de kwaliteitscultuur krijgt nadrukkelijker aandacht. Voorbeelden van activitei¬ 
ten in dit kader zijn: het vertalen van kwaliteitsborging naar concrete aandachtspunten voor 
afdelingen in werkoverleg en het inbrengen van kwaliteit en kwaliteitszorg in functioneringsge¬ 
sprekken. 

Deskundigheidsbevordering 

In drie van de vier NBI’s is in 2012 aandacht besteed aan het vergroten van de deskundigheid 
op het gebied van het toezichtkader resp. het waarderingskader. Dat gebeurde deels op cen¬ 
traal niveau; zo is in een van de NBI’s het waarderingskader in kaart gebracht en vergeleken 
met het eigen kwaliteitszorgsysteem, om na te gaan in hoeverre het waarderingskader wordt 
afgedekt. In een andere instelling zijn leden van de examencommissie getraind, waarbij wetge¬ 
ving en het toezichtkader belangrijke thema’s vormden. Ook zijn docenten getraind in het ma¬ 
ken en beoordelen van examens. 

Externe dialoog 

Naast het versterken van de externe betrokkenheid bij de audits en de examinering is ook op 
andere manieren de betrokkenheid van het bedrijfsleven versterkt. In beroepenveldcommissies 
wordt kwaliteit een nadrukkelijker thema. 
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Bijdrage van het waarderingskader en het inspectietoezicht aan de ontwikkeling van de kwali¬ 
teitsborging 

De 4 NBI’s zijn het er over eens dat het waarderingskader belangrijk is geweest bij het vormge¬ 
ven van de kwaliteitsborging in de instelling. Het werkt structurerend. Het waarderingskader is 
behalve als algemene kapstok voor het kwaliteitszorgsysteem ook meer specifiek toegepast in 
instrumenten, in het bijzonder voor zelfevaluatie. Hoewel de gesprekspartners positief zijn over 
het waarderingskader, was de vertaling ervan naar de eigen instelling voor de NBI’s geen sine¬ 
cure. Twee instellingen geven dat hierbij gebruik is gemaakt van advies en van een model voor 
zelfevaluatie van de NRTO. 

Expliciet wordt de wens uitgesproken het waarderingskader niet te veel te veranderen. De 
veranderingen die op de NBI’s afkomen - Focus op Vakmanschap, nieuwe kwalificatiedossiers, 
veranderingen in de examinering - zijn volgens de gesprekspartners al van dien aard dat het 
niet of nauwelijks lukt om een PDCA-cyclus af te maken. Een heel nieuw waarderingskader 
maakt dit alleen maar lastiger. 

Drie van de vier NBI’s geven aan dat ook het inspectietoezicht heeft bijgedragen aan de ontwik¬ 
keling van de kwaliteitsborging. In algemene zin wordt daarbij gesteld dat het toezicht de instel¬ 
ling scherp houdt. In meer concrete zin wordt verwezen naar verbeteringen die naar aanleiding 
van het toezicht zijn doorgevoerd, zoals op het gebied van examinering. 

Eén instelling is van mening dat de inspectie meer oordelend dan stimulerend is. De inspectie 
vergroot het risico van bureaucratie door het accent te leggen op het vastleggen en aantoon¬ 
baar maken en door de diepte in te gaan bij het beoordelen van bijvoorbeeld verbeterdoelen. 
Liever ziet de gesprekpartner dat de inspectie meer inhoudelijke feedback geeft tijdens het 
onderzoek. 


8.2 Onderwijskwaliteit 

Op basis van dit onderzoek kan de ontwikkeling van de onderwijskwaliteit bij de NBI’s niet in 
kaart worden gebracht. Zoals in de inleiding van dit hoofdstuk aangegeven, ontbreken daarvoor 
de benodigde bronnen. In deze paragraaf wordt, op basis van de gesprekken in de instellingen, 
ingegaan op de relatie tussen kwaliteitsborging en onderwijskwaliteit en op de bijdrage aan de 
ontwikkeling van de onderwijskwaliteit die de niet bekostigde instellingen toekennen aan het 
inspectietoezicht. 

Relatie tussen kwaliteitsborging en onderwijskwaliteit 

Drie van de vier NBI’s zien een positieve relatie tussen kwaliteitsborging en onderwijskwaliteit. 
De meerwaarde van kwaliteitsborging is dat de instellingen in beeld krijgen waar het goed en 
minder goed gaat met de kwaliteit. Er kunnen sneller tekortkomingen worden gesignaleerd. 
Daarbij moet er voor worden gezorgd dat kwaliteitsborging geen papieren tijger is die alleen 
leidt tot bureaucratie. 

Eén instelling ziet geen verband tussen kwaliteitsborging en onderwijskwaliteit. De kwaliteits¬ 
borging heeft er niet toe geleid dat het rendement hoger is geworden of dat de instelling betere 
beroepskrachten aflevert op de arbeidsmarkt. Niettemin heeft de kwaliteitsborging volgens deze 
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instelling wel meerwaarde: het dwingt om gestructureerd te werken, vanuit beheersperspectief 
is dat een voordeel. 

Bijdrage inspectietoezicht aan de ontwikkeling van de onderwijskwaliteit 

Twee van de vier niet bekostigde instellingen vinden dat het inspectietoezicht heeft bijgedragen 
aan de verbetering van de onderwijskwaliteit. Bij één instelling vloeit dit standpunt voort uit de 
relatie tussen kwaliteitsborging en onderwijskwaliteit: er kan gericht worden gewerkt aan de 
kwaliteit doordat bekend is waar dit het hardst nodig is. En het inspectietoezicht heeft hierbij 
een rol gespeeld; zo worden door toedoen van het toezicht zelfevaluaties uitgevoerd. De ande¬ 
re instelling verwijst naar de kwaliteitscultuur. De Staat van de Instelling ‘zet de boel op scherp 1 
en brengt met zich mee dat iedereen het over kwaliteit heeft. Het kwaliteitsbewustzijn is toege¬ 
nomen en dat leidt tot verbeteringen. 

De beide andere NBI’s geven aan dat van het inspectietoezicht geen positieve invloed op de 
onderwijskwaliteit uitgaat, hetzij omdat geen verband tussen kwaliteitsborging en onderwijskwa¬ 
liteit wordt ervaren, hetzij omdat van de werkwijze van de inspectie (gefocused op vastleggen, 
niet meedenkend over verbeteringen) geen positieve werking uitgaat. 


8.3 Toezichtbelasting 

Net als veel bekostigde instellingen kunnen de NBI’s niet goed beoordelen of de toezichtbelas¬ 
ting in termen van tijdsinvestering in de periode 2012-2014 is afgenomen ten opzichte van 
2009-2011. De overheersende indruk is echter dat de tijdsbelasting zeker niet minder en wel¬ 
licht groter zal uitpakken. Dat heeft te maken met het gegeven dat het inspectietoezicht vóór 
2012 met name betrekking had op examinering, en dat nu integraal wordt gekeken naar de 
kwaliteitsborging, onderwijsprocessen en examinering. Dit beeld uit de gevoerde gesprekken 
wordt bevestigd door analyses op inspectiedata over het aantal inspectie-onderzoeken in de 
periode 2009-2014. In tegenstelling tot bij de bekostigde instellingen, waar de cijfers wijzen op 
een gedaalde tijdsinvestering, is bij de NBI’s sprake van een stijging. 

Hoewel de Staat van de Instelling wordt beschouwd als erg intensief en gedetailleerd, komen uit 
de gesprekken weinig klachten over de toezichtbelasting naar voren. In algemene zin wordt 
gesteld dat het toezicht ‘er bij hoort’ als de keuze wordt gemaakt om erkende beroepsopleidin¬ 
gen aan te bieden. En de toezichtlast, zeker in de voorbereiding, zal de volgende keer lager 
uitvallen omdat duidelijk is welke documenten de inspectie aangeleverd wil krijgen en de instel¬ 
ling de documentatie beter op orde heeft. Daarnaast heeft de Staat van de Instelling bij drie 
instellingen de voorkeur boven de losse onderzoeken naar met name examinering zoals die 
voorheen plaatsvonden. Het meenemen en integreren van de kwaliteitsborging en de onder¬ 
wijsprocessen in het onderzoek wordt gewaardeerd: het leidt tot een integraal beeld waar de 
instelling zelf ook profijt van heeft. Eén instelling ziet in plaats van een driejaarlijks geïntegreerd 
onderzoek liever een jaarlijks onderzoek waarbij de inspectie steeds bij één thema de diepte in 
gaat. 
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Ervaringen met de Staat van de Instelling 


Het verloop van de Staat van de Instelling wordt In alle vier NBI's positief gewaardeerd. De 
gesprekken verliepen prettig, de inspecteurs hielden rekening met het specifieke karakter van 
de NBI’s en hadden kennis van zaken (voor een deel waren bij de SVI vaste contactpersonen 
van de instelling betrokken). Bij de instelling waar het vervolgonderzoek op de SVI al heeft 
plaatsgevonden, wordt gewaardeerd dat de inspectie feedback gaf op een conceptversie van 
het verbeterplan. 

Ook over de beoordeling bij de SVI zijn de ervaringen overwegend positief. Het oordeel over de 
kwaliteitsborging - bij twee instellingen voldoende, bij de overige twee onvoldoende - kwam 
niet onverwacht en de geconstateerde tekortkomingen werden in de instellingen herkend. 

Eén instelling geeft aan dat de tijd om de kwaliteitsborging op orde te krijgen erg kort is. “De 
stap van 0% naar 100% was te groot voor de periode waarin het zich moest voltrekken”. Beter 
zou zijn als de inspectie stapsgewijs de instellingen zou beoordelen. Daarnaast wordt vanuit 
deze instelling opgemerkt dat de inspectie erg streng was in haar beoordeling: '9 sterretjes aan 
de plus en 1 aan de min’ leidde tot een onvoldoende. 
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Bijlage 1 - Indicatoren van kwaliteitsborging 


De volgende (elementen van) indicatoren van kwaliteitsborging uit het Toezichtkader bve 2012 
zijn in het onderzoek betrokken: 


4.1.1 Plannen 

Er zijn meerjarenplannen voor de instelling en jaarplannen op verschillende organisatieniveaus geba¬ 
seerd op de missie en het strategisch beleid van de instelling. Deze plannen zijn gedragen door de 
organisatie. Een plan biedt voldoende kader voor het onderliggende organisatieniveau. Doelen van 
jaarplannen zijn voldoende ‘smart’ (specifiek, meetbaar, aanvaard, reëel en concreet in tijd). Plannen 
hebben betrekking op alle sturingslagen van de organisatie en hangen onderling samen. 

4.1.2 Informatie 

De sturingsinformatie over de onden/vijskwaliteit is beschikbaar en toegankelijk op het niveau waar deze 
informatie moet worden gebruikt. 

4.2 .1 Monitoring 

De onderwijskwaliteit wordt regelmatig gemonitord. De monitor bestrijkt de belangrijke elementen van 
het onderwijs (onderwijsproces, examinering en opbrengsten). 

4.2.2 Evaluatie 

Uitkomsten van monitoring worden aantoonbaar gebruikt om de kwaliteit van het onderwijs te beoorde¬ 
len (regelmatig, wettelijk vereist), te analyseren op risico's en eventuele tekorten vast te stellen. Voor de 
evaluatie van de onderwijskwaliteit worden expliciet normen gebruikt die vooraf zijn vastgesteld. Ze 
gaan over tenminste het onderwijsproces, de examenkwaliteit (aan de hand van de examenstandaar- 
den en de bijbehorende normering) en de opbrengsten en zijn voldoende concreet. Bij de evaluatie van 
de onderwijskwaliteit zijn onafhankelijk deskundigen en belanghebbenden betrokken (wettelijk vereist). 

4.3.1 Verbeteraanpak 

Uitkomsten van de beoordeling van de onderwijskwaliteit (onderwijsproces, examinering en opbreng¬ 
sten) worden bij geconstateerde tekorten gebruikt voor het opstellen van een samenhangend verbeter¬ 
plan. Verbetermaatregelen zijn inhoudelijk passend bij de geconstateerde tekorten, grijpen aan op de 
oorzaken van de kwaliteitstekorten en hebben betrekking op het passende organisatieniveau. 

4.3.2 Deskundigheidsbevordering 

Er zijn plannen voor deskundigheidsbevordering op de verschillende organisatieniveaus en maatrege¬ 
len en instrumenten om te waarborgen dat het personeel zijn bekwaamheid onderhoudt (wettelijk ver¬ 
eist). Deskundigheidsbevordering vindt aantoonbaar plaats en sluit tenminste aan bij eventuele tekorten 
in de onderwijskwaliteit. De instelling betrekt hierbij nadrukkelijk ook de deskundigheid van construc¬ 
teurs, vaststellers en beoordelaars van examens. 
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4.3.3 Verankering 

Planning, monitoring, evaluatie, verbetering en verantwoording gebeuren volgens een vastgelegde 
systematiek. De kwaliteitszorg is organisatorisch duidelijk belegd. Vastgelegd is wie externe belang¬ 
hebbenden zijn en op welk organisatieniveau, waarover en wanneer de dialoog plaatsvindt. De exa¬ 
mencommissie draagt zorg voor de borging van de examenkwaliteit. 

4.4.2 Extern 

Er is op een passend organisatieniveau een werkende dialoog met in elk geval het bedrijfsleven. Deze 
dialoog gaat tenminste over de ontwikkeling van onderwijs en examinering, de beoordeling van de 
kwaliteit daarvan evenals over de opleidingen portfolio. 

Er is verantwoording naar externe belanghebbenden over in elk geval wat met hun inbreng is gebeurd, 
al dan niet aanvullend op de verantwoording in het jaarverslag. 
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Bijlage 2 - Indicatoren voor onderwijskwaliteit in het onderzoek B+O 


In het onderzoek B+O zijn vijf indicatoren voor onderwijskwaliteit gehanteerd (zie ook hoofdstuk 
3). Voor het scoren van de instellingen is voor elk van de indicatoren een klasse-indeling ge¬ 
hanteerd. De indeling is als volgt: 


A. Zwakke opleidingen: 

1. meer dan 16,12% van de opleidingen van deze instelling is zwak 

2. tussen de 5,18% en de 16,12% van de opleidingen van deze instelling is zwak 

3. tussen de 1,29% en de 5,18% van de opleidingen van deze instelling is zwak 

4. tussen de 0% en de 1,29% van de opleidingen van deze instelling is zwak 

5. geen van de opleidingen van deze instelling is zwak 

B. Zeer zwakke opleidingen: 

1. meer dan 4,81 % van de opleidingen van deze instelling is zeer zwak 

2. tussen de 2,15% en de 4,81% van de opleidingen van deze instelling is zeer zwak 

3. tussen de 0,93% en de 2,15% van de opleidingen van deze instelling is zeer zwak 

4. tussen de 0% en de 0,93% van de opleidingen van deze instelling is zeer zwak 

5. geen van de opleidingen van deze instelling is zeer zwak 

C. Examinering: 

1. geen van de in 2009 en 2010 onderzochte opleidingen van deze instelling is voldoende 

2. 0% - 50% van de in 2009 en 2010 onderzochte opleidingen van deze instelling is voldoende 

3. 51% - 75% van de in 2009 en 2010 onderzochte opleidingen van deze instelling is voldoende 

4. 75% -100% van de in 2009 en 2010 onderzochte opleidingen van deze instelling is voldoende 

5. 100% van de in 2009 en 2010 onderzochte opleidingen van deze instelling is voldoende 

D. Onderwijstijd: 

1. Zowel in 2007 als 2009 1 of meer opleidingen onvoldoende op onderwijstijd 

2. Of in 2007 óf 2009 1 of meer opleidingen onvoldoende op onderwijstijd 

3. Zowel in 2007 als 2009 géén opleidingen onvoldoende op onderwijstijd 

E Opbrengsten: 

1. 0% - 64,32% van de studenten van deze instelling zit in een opleiding met voldoende opbrengst 

2. tussen de 64,32% en de 70,53% van de studenten van deze instelling zit in een opleiding met 
voldoende opbrengst 

3. tussen de 70,53% en de 75,55% van de studenten van deze instelling zit in een opleiding met 
voldoende opbrengst 

4. tussen de 75,55% en de 83,04% van de studenten van deze instelling zit in een opleiding met 
voldoende opbrengst 

5. meer dan 83,04% van de studenten van deze instelling zit in een opleiding met voldoende op¬ 
brengst 
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